全部动态

医疗 AI 终于有了真实场景的语音对话基准——111 小时医患对话数据，覆盖四种疾病，做医疗对话系统的团队可以直接拿来训练和测试模型。Claude Sonnet 4 在句子选择上领先，但所有模型都过度自信，这个发现值得关注。

医疗AI开发者注意了：推理模型在临床文档任务上可能适得其反，做医疗NLP的团队在部署前务必做任务专属评估，别盲目相信推理能力。

AI文本检测的可解释性和鲁棒性一直是痛点，READER用1.5B参数就超越了千倍大模型，做内容安全或反作弊的团队值得关注这个新思路。

医疗AI开发者注意了：MDIA用架构设计而非提示工程就超越了专业临床模型，做临床决策系统的团队值得研究其7节点路由和药物安全门控设计。

这个基准测试揭示了当前 AI 代理在理解用户完整数字生活方面的巨大短板，做个人助手或智能体开发的团队值得关注——它直接指出了现有系统为何不够智能，并提供了改进方向。

SkillOpt 解决了智能体技能无法像深度学习权重那样可靠优化的问题，做智能体开发或技能自动生成的团队可以直接用这套方法替代手工调参，效果显著且部署零开销。

Mythos 在编程和网络安全基准上碾压 GPT-5.5，做 AI 安全或模型评估的团队需要关注其潜在威胁，建议提前加固防御。

Gary Marcus@GaryMarcus原文

做智能体开发或自动化任务的团队，可以拿 Qwen-3.7-max 替代高价闭源模型，成本直降 9 倍效果反而更好，值得立刻跑个 benchmark 验证。

Paul Couvert@itsPaulAi原文

想让学生真正理解AI局限性的教育者，可以用QuestBench的方法把课堂变成AI测试场——学生自己设计问题来考AI，比单纯教提示词更有深度。

竞争编程开发者终于有了一个能可靠迭代的 AI 助手——A-ProS 通过多模型反馈将 GPT-5 的初始通过率提升 2 倍以上，做算法竞赛或自动化代码生成的团队可以直接参考其架构设计。

法律科技团队终于有了针对负面处理分类的专门评估框架——新指标和数据集能更真实反映错误风险，做法律文档自动化的开发者建议直接参考。

多模态推理是 AI 落地的关键瓶颈，MARS 展示了如何整合视频、转录、热成像等异构数据做智能体决策，做多模态 AI 或视频理解的团队值得参考其开源代码。

这个实验戳破了AI漏洞发现能力的泡沫——即使给定了目标文件，顶级模型复现已知漏洞的成功率也极低。做AI安全评估或漏洞研究的团队，看完会重新审视benchmark的可靠性。

包幻觉率虽降但跨模型一致幻觉风险被首次量化，做AI安全或供应链防护的团队值得关注这127个危险包名。

内容审核从业者和社区运营团队会关心：现有AI模型在多元规则下表现堪忧，PluRule为评估和提升审核系统提供了关键基准，值得深入研究。