12:12
12:12
arXiv: OpenAI@Lingyao Li, Deyi Li, Chen Chen, Renkai Ma, Runlong Yu, Mingquan Lin, Rui Yin, Lizhou Fan, Cathy Shyr, Siyuan Ma, Mei Liu, Steven Bethard 这篇综述系统分析了 LLM-as-a-Judge 在医疗领域的应用现状,涵盖临床决策支持、自然语言处理、医学问答和医疗沟通等场景。研究检索了 2023 年 1 月至 2026 年 2 月的 541 篇文献,最终纳入 134 项研究。OpenAI 模型是最常用的评判者,提示工程几乎出现在所有研究中,集成、多智能体和检索增强设计是常见扩展。在报告人类验证的研究中,LLM 评判者与专家判断呈现中等到强对齐,但可靠性因任务而异。该综述认为 LLM-as-a-Judge 是可扩展的医疗 AI 评估框架,但其临床价值取决于模型设计和严格验证。
推荐理由:医疗 AI 评估一直缺乏规模化手段,这篇综述系统梳理了 LLM-as-a-Judge 在临床场景的落地情况,做医疗 AI 开发或评估的团队可以快速了解当前方法的有效性和局限。
11:45
11:45
arXiv cs.AI@Yusong Lin, Xinyuan Liang, Haiyang Wang, Qipeng Gu, Siqi Cheng, Jiangui Chen, Shuzhe Wu, Feiyang Pan, Lue Fan, Sanyuan Zhao, Dandan Tu Claw-Anything 是一个新基准,旨在评估大型语言模型代理作为始终在线个人助手的能力。现有系统仅能访问用户数字世界的狭窄部分,限制了上下文感知推理和有效协助。该基准通过三个维度扩展代理上下文:长期活动历史、相互依赖的后端服务以及跨多设备的 GUI 和 CLI 交互。实验显示,GPT-5.5 仅达到 34.5% 的 pass@1,远低于先前基准,突显了当前代理能力与始终在线个人助手需求之间的差距。同时,研究团队发布了自动化数据生成管道,可生成 2000 个训练环境,并将基础模型性能提升 23.7%。
推荐理由:这个基准测试揭示了当前 AI 代理在理解用户完整数字生活方面的巨大短板,做个人助手或智能体开发的团队值得关注——它直接指出了现有系统为何不够智能,并提供了改进方向。
11:43
11:43
arXiv cs.AI@Dingbang Wu, Rui Hao, Haiyang Wang, Shuzhe Wu, Han Xiao, Zhenghong Li, Bojiang Zhou, Zheng Ju, Zichen Liu, Lue Fan, Zhaoxiang Zhang MobileGym 是一个轻量级、浏览器托管的移动GUI仿真环境,通过结构化JSON状态实现确定性结果验证,并支持低成本并行rollout,使在线强化学习在移动应用场景中变得可行。该平台单服务器可运行数百个并行实例,每个实例仅需约400MB内存和3秒冷启动,并提供了416个参数化任务模板(256测试+160训练),覆盖28个应用。在Sim-to-Real案例中,使用GRPO在Qwen3-VL-4B-Instruct上训练,测试集准确率提升12.8个百分点,且真实设备执行保留了95.1%的仿真训练收益。MobileGym 解决了移动GUI Agent研究中环境保真度、可扩展性和评估一致性的核心痛点。
推荐理由:做移动端GUI Agent或强化学习的团队终于有了一个可验证、高并发的仿真平台,不用再依赖私有后端或模糊匹配评估,建议直接看项目页和论文。
仅展示最近 2000 条内容。更早的内容请查阅 AI 日报存档(侧边栏 → AI 日报 → 顶部「往期日报」)。