全部动态

Nature Medicine那篇论文把模型考倒了，但作者直接把考卷开源了。后来GPT-5.5 Pro重新考，分数涨了10%！

@koltregaskes@koltregaskes原文

这篇论文用实验告诉你，临床AI回答EHR问题时，推理步骤越多越容易翻车。Claude、GPT-4o和GPT-5.4都逃不过，部署前得重点防多步推理。

RAH 解决了长上下文推理中智能体扩展性的核心瓶颈，做复杂编码任务或智能体系统的开发者可以直接参考其设计思路，效果提升显著。

TAHOE 解决了 Text-to-SQL 从原型到生产部署的痛点——无需微调模型即可大幅提升 SQL 生成准确率，做数据库应用或数据分析的开发者可以直接用这套方法优化现有 LLM 管线。

做 AI 编程智能体或评估基准的团队，这篇论文揭示了主流基准（如 SWE-Bench）掩盖的能力差距——强智能体在陌生语言上的元编程策略值得借鉴，建议点开看具体实现方法。

Moonshine 把数学研究从“解题”推向“猜想的自动生成”，做AI for Science或数学自动化的研究者值得关注，它展示了智能体如何自主发现并推进新问题。

做推荐系统或对话智能体评估的团队，终于有了一个可复现、低成本的客观基准，直接拿来测自己的模型会看到真实差距。

做多模态智能体或空间推理研究的团队，这个基准直接暴露了当前模型在真实交互任务上的短板——GPT-5都只有17.4%成功率，值得用来检验自家模型。

做特殊教育NLP或低资源语言模型微调的团队，这篇论文提供了一个可复现的CGFD流程，直接解决了繁体中文IEP生成的数据稀缺和隐私问题，值得点开看具体实现。

做 AI 模型评测或选型的人必须看——这篇研究用严格对照实验证明，你看到的模型能力分数可能更多反映的是 scaffold 设计而非模型本身，建议重新审视自己的评估流程。

多智能体系统开发者终于有了量化幻觉传播的基准——这篇论文揭示了级联深度与事实准确性的权衡，做Agent编排的团队建议仔细看，避免盲目堆叠智能体导致事实失真。

AI 安全研究者终于有了评估隐性操纵的专用工具——CogManip 覆盖 15 种策略、1000 个场景，做模型对齐和红队测试的团队可以直接拿来用。

该研究揭示了记忆增强AI代理在敏感信息使用上的关键盲区，做对话系统和个性化AI的开发者值得关注——它直接关系到用户隐私和信任。

这篇论文揭示了标签选择能显著改变模型对误导信息的采纳率（最高差 84 个百分点），做 RAG 系统或上下文增强应用的开发者需要警惕：你用的标签可能无意中放大了错误信息的影响。建议点开了解如何控制这一变量。

KINA 解决了 LLM 知识评估中学科代表性不足和排名不稳定的痛点，做模型评测或研究 LLM 知识边界的团队可以直接用这个基准来更可靠地对比模型，建议点开看看具体的设计和排名细节。

预测市场从业者终于有了可落地的AI裁决方案——独立聚合投票比单模型更准，混合路由策略能平衡成本与精度，做预言机或去中心化应用的团队值得参考。

做 LLM Agent 开发的团队终于有了实证依据：给智能体塞技能文档比纠结怎么写更管用。建议直接参考这个实验设计来优化自己的 RAG 或工具调用策略。

做CI调试或AI编程智能体的团队终于有了可依赖的日志缩减基准——LogDx-CI直接告诉你哪种工具省钱又有效，建议做DevOps或Agent开发的点开看。

空间生物学研究者终于有了衡量AI科学推理能力的硬核基准——SpatialBench-Long 要求智能体从复杂空间数据中推导真实结论，而非简单跑流程。做生物信息学或AI for Science的团队，值得看看当前模型的表现差距在哪里。

医疗 AI 终于有了真实场景的语音对话基准——111 小时医患对话数据，覆盖四种疾病，做医疗对话系统的团队可以直接拿来训练和测试模型。Claude Sonnet 4 在句子选择上领先，但所有模型都过度自信，这个发现值得关注。

医疗AI开发者注意了：推理模型在临床文档任务上可能适得其反，做医疗NLP的团队在部署前务必做任务专属评估，别盲目相信推理能力。

AI文本检测的可解释性和鲁棒性一直是痛点，READER用1.5B参数就超越了千倍大模型，做内容安全或反作弊的团队值得关注这个新思路。