8月21日
10:35
10:35官方一手arXiv: DeepSeek@Yiyang Luo, Yihang Jiang, Qijun Xie, Liang Lan, Lin Willian Cong, Anyi Rao, Yunya Song
研究提出ReguSim和ReguBench,用于评估金融市场中LLM智能体在规则归因方面的表现。DeepSeek V4 Pro和Gemini 3.5 Flash在规则指导下减少了违规行为,但未完全消除。激励或角色框架可改变行为。研究表明,除非展示执行证据,否则交易者的理由可能误导独立监控者。在监控中,简单的结构化基线与仅提示的LLM相当或更优。结果将金融合规评估视为对规则归因行动和证据使用的审计,而非单一合规评分。
推荐理由:这篇论文提出了一个评估LLM智能体在金融合规中规则归因的新方法,值得一读。它通过实验展示了规则指导如何减少违规行为,并强调了监控的重要性。
7月22日
09:03
09:03官方账号阿里云 Alibaba Cloud@alibaba_cloud
精选
阿里云发布AgentLoop,解决传统APM在代理场景下的非确定性混乱问题。产品实现非侵入式轨迹捕获与拓扑全栈观测。其Agent-as-Judge评估系统在推理和工具使用上达到90%以上人类对齐。自我进化功能可自动提取模式以优化提示词和技能,将黑盒Agent转化为可靠的企业资产。

推荐理由:阿里云发布了AgentLoop,专门解决AI Agent的监控和优化难题,能自动捕获轨迹、评估推理并自我进化,让Agent更可靠。
7月21日
7月1日
21:54
21:54官方账号LangChain@LangChainAI
Pendoio每天通过LangSmith的trace仪表盘监控Novus智能体,发现客户需求与系统支持之间的差距。他们据此构建新的评估集,将用户行为追踪到代码修复。这一流程帮助团队在客户察觉前捕获60%的agent故障。
推荐理由:Pendoio用LangSmith每天抓出60%的agent问题,从用户行为一路追到代码修复,流程很实在。
6月2日
5月22日
08:05
08:05官方账号LangChain@LangChainAI
LangChain 发布了最新的 Academy 课程,专注于生产环境中智能体的监控。课程教授如何使用 LangSmith 工具跟踪成本、通过追踪分析发现趋势、以及监控质量和延迟。该课程免费开放,适合正在部署或维护 AI 智能体的开发者和团队。
推荐理由:生产环境智能体监控是很多团队头疼的问题,LangSmith 给出了成本、质量、延迟一体的方案,做 AI 应用运维的开发者可以直接学起来。
5月16日