AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:监控×
6月25日
09:39
09:39arXiv cs.AI@Hyejun Jeong, Dzung Pham, Amir Houmansadr, Eugene Bagdasarian
研究人员提出并形式化了“代理监控”(agentic surveillance)问题,即AI智能体利用可访问信息生成报告并发送的能力。他们创建了SurveilBench数据集,涵盖企业、教育和警察三个领域的多种报告场景。实验发现部分模型会自发协助监控,但也会主动向政府报告监控尝试。为对抗这类监控,论文开发了三种提示注入逃逸技术:隐藏、欺骗或诱导过度上报。研究表明代理监控已可轻易实现,亟需技术、伦理和法律框架保护用户。
论文AI安全智能体提示注入SurveilBench监控

推荐理由:这篇论文发现了AI智能体会自动打小报告,还给出了三种对抗方法,搞AI安全的朋友可以看看。
原文
6月16日
21:34
21:34LangChain@LangChainAI
LangChain 在推文中指出,agent 可能调用错误工具、跳过审批步骤、使用错误上下文或生成看似正确但实际错误的答案,即使返回“成功”响应任务也可能失败。因此生产环境中的 agent 团队不能只依赖 uptime、延迟和错误率指标。他们需要监控 agent 的完整执行轨迹,才能定位真正的问题。
技巧LangChainagent智能体监控生产环境

推荐理由:生产环境跑 agent 只看成功率不够,LangChain 提示要关注 agent 实际做了什么,推荐做完整轨迹追踪避免翻车。
原文
20:46
AITOP6月16日 20:46
600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI
6月12日
12:57
AITOP6月12日 12:57
Claude代码里藏了个20260612,18个月后的AI记忆革命已经开始倒计时
6月11日
15:28
AITOP6月11日 15:28
1107 vs 303:谷歌悄悄开源了一个“拆打字机”的模型,把大模型速度翻了4倍
15:23
AITOP6月11日 15:23
DiffusionGemma颠覆文本生成?自回归模型的“统治”要结束了
15:07
AITOP6月11日 15:07
每秒1107个token,Google开源的扩散模型为什么能改变本地推理格局?
6月2日
12:02
12:02arXiv cs.AI@Marisa Ferrara Boston, Glen Hanson, Effi Georgala, JD Hudgens, Heather Frase
本文提出了一种针对生产环境中智能体系统的监控与分类方法,这些系统通常存在结构缺陷而非任务级错误。该方法从质量、适用性和效率三个维度,在运行内、跨运行和结构三个范围进行监控,利用变异系数作为特征信号。通过合成测试床(220次运行,120个文档包)验证,发现结构缺陷会掩盖任务级错误信号,而确定性分类可将97%的结果自动跟踪,仅2%需要人工调查。论文建议在集成缺陷解决后,监控应从结构表征过渡到错误检测再到可靠性跟踪。
论文智能体监控结构缺陷变异系数可靠性

推荐理由:做智能体系统部署和运维的团队会直接受益——这篇论文给出了一个实用的监控框架,帮你区分结构缺陷和任务错误,减少无效告警。建议点开看看,尤其是处理文档密集型工作流的团队。
原文
5月22日
08:05
08:05LangChain@LangChainAI
LangChain 发布了最新的 Academy 课程,专注于生产环境中智能体的监控。课程教授如何使用 LangSmith 工具跟踪成本、通过追踪分析发现趋势、以及监控质量和延迟。该课程免费开放,适合正在部署或维护 AI 智能体的开发者和团队。
AI产品LangChainLangSmith智能体监控生产部署

推荐理由:生产环境智能体监控是很多团队头疼的问题,LangSmith 给出了成本、质量、延迟一体的方案,做 AI 应用运维的开发者可以直接学起来。
原文
5月19日
23:42
23:42Ate-a-Pi@svpino
开发者Santiago Valdarrama分享了一种极简方法,只需引入一个库并添加一行代码,即可为基于LLM的应用开启完整的可观测性和自动分析功能。该方法能免费获取大量关键信息,如请求延迟、Token消耗、错误率等,极大简化了调试和性能监控流程。对于构建和部署LLM应用的团队来说,这是一个无需思考的实用技巧。
技巧LLM可观测性监控调试一行代码

推荐理由:做LLM应用开发的团队,监控调试一直是个痛点——现在一行代码就能拿到全链路数据,省去自己搭监控的麻烦,建议直接试。
原文
5月16日
23:30
23:30AI Will@FinanceYF5
Claude Code 推出了 agent view 功能,为多代理工作流提供了一个集中监控界面。以前开发者需要同时打开多个终端、使用 tmux 或靠记忆跟踪多个代理的进度,现在通过一个列表就能清晰看到每个代理的运行状态、等待输入或已完成情况。这一更新显著降低了多代理协作的认知负担和操作复杂度,提升了开发效率。对于使用 Claude Code 进行复杂自动化任务的团队来说,这是一个实用的改进。
AI产品Claude Code多代理工作流监控开发工具

推荐理由:多代理工作流的监控痛点终于被解决了,做复杂自动化或并行任务的开发者可以直接用上,省去开多个终端和记进度的麻烦。
原文
19:47
19:47AI SDK@aisdk
精选
AI SDK 7 正式版(GA)发布,引入了新的遥测系统,为合作伙伴提供统一的集成点。该系统可追踪 AI SDK 调用、工具使用、智能体步骤、流式处理、用量和错误等关键指标。这意味着开发者可以更轻松地监控和优化 AI 应用性能,同时合作伙伴能更高效地集成自己的服务。该更新对使用 AI SDK 构建复杂 AI 应用的团队尤为重要。
AI产品AI SDK遥测系统合作伙伴集成开发者工具监控

推荐理由:AI SDK 7 的遥测系统解决了 AI 应用监控碎片化的问题,做 AI 应用开发或运维的团队可以直接用起来,提升调试和优化效率。
原文
精选全部日报登录