模型监控相关 AI 资讯 · AI 热点

8月20日

02:36

02:36

向阳乔木@vista8

用豆包开发的DeepSeek Harness监控表明，近期插件数量虽增速放缓，但今日仍新增177个插件。最多为界面UI和模型服务类插件，与此前观察一致。

技巧 DeepSeek Harness 插件管理模型监控

推荐理由：豆包搞了个DeepSeek Harness监控网站，自动更新插件，虽然增速放缓但今天加了177个，界面UI和模型服务插件最多，你看看呗。

8月4日

11:26

11:26

官方账号arXiv cs.AI@Sunny Dubey

该研究提出用单类回声状态网络集成加CUSUM警报监控LLM Agent的步骤遥测，成本约每步200微秒。在2,823条episode上，以5%误报率检出71%的故障，AUROC达0.872。在外部数据集AFTraj-2K和ATBench上，排名迁移分别达0.745和0.779。确定性验证层在63个负例中零误报地捕获60%失败，回滚重跑将任务成功率从52%提升至73%。

论文智能体故障检测模型监控

推荐理由：不用每步都请大模型当裁判，用轻量监控就能抓到71%的Agent故障，自动回滚重跑后成功率从52%涨到73%。

7月8日

01:07

01:07

官方一手AWS Machine Learning Blog@Sandeep Raveesh-Babu

精选

本文展示如何使用开源工具Evidently结合Amazon SageMaker AI生成监控报告。通过MLflow组织并比较不同时间点的监控结果，并可通过管道自动化触发漂移通知。该方法支持数据漂移和模型性能退化检测，帮助维持预测准确性。

技巧 Amazon SageMaker AI MLflow Evidently

推荐理由：AWS教你用Evidently+SageMaker+MLflow搭一套模型监控流水线，自动检测数据漂移并报警，实操性强。

6月12日

02:10

02:10

OpenRouter@OpenRouterAI

OpenRouter 发布了新的 Activity Explorer 功能，让用户和团队可以一目了然地查看每个模型的花费、Token 用量、缓存命中率、Agent 使用情况以及趋势变化。该功能包含一个 API，可以查询所有历史数据，并且所有数据实时更新。对于使用多个 AI 模型和 Agent 的团队来说，这是一个高效的成本和用量监控工具。

AI产品 OpenRouter Activity Explorer 模型监控

推荐理由：OpenRouter 的 Activity Explorer 解决了多模型、多 Agent 场景下的成本与用量可视化痛点，做 AI 应用开发或管理团队模型预算的人可以直接用起来，省去手动统计的麻烦。

01:12

01:12

OpenRouter@OpenRouterAI

OpenRouter 发布了新的 Activity Explorer 功能，让用户能直观查看团队在各类模型上的花费、token 使用量、缓存命中率、智能体调用及趋势数据。该功能支持实时更新，并集成 API 以便查询历史数据。NousResearch 的 Hermes 模型被列为内部最常用的工具之一。这为管理多模型支出的团队提供了便捷的监控手段。

AI产品 OpenRouter Activity Explorer 模型监控

推荐理由：OpenRouter 的 Activity Explorer 解决了多模型团队的费用监控痛点，做 AI 应用开发或模型调度的团队可以直接用起来，省去手动统计的麻烦。

6月11日

03:16

03:16

Y Combinator@ycombinator

Lattice Health 推出新服务，专门监控医院已部署的 X 光、CT、MRI 等医学影像 AI 模型的实时准确率。一旦模型性能出现下滑，系统会立即发出告警，帮助医院及时发现并修复问题。这解决了当前医疗 AI 部署后缺乏持续验证的痛点，确保患者诊断的可靠性。该服务由 Y Combinator 支持，刚刚正式发布。

AI产品医疗 AI 模型监控影像诊断

推荐理由：医疗 AI 部署后准确率下降是行业盲区，Lattice Health 填补了这个缺口。做医疗 AI 部署或医院信息化的团队值得关注，能直接提升患者安全。