AITOP
精选
过去 24 小时，从 318 条中筛出 9 条
全部模型产品行业论文技巧
标签：MLLM×
6月25日
10:45
10:45官方账号arXiv cs.LG@Akshay Paruchuri, Sanmi Koyejo, Ehsan Adeli
精选
论文提出Facet-Probe审计框架，从选项、证据块、文档排序、图像集、混合模态五个维度测试18个前沿和开源MLLM的排序敏感性。采用贝叶斯项目反应模型分离排序噪声与各维度偏差，发现所有模型均非排序不变，各维度平均翻转率在24%至50%之间。Gemini在温度0下的同序控制显示，验证单元中存在远超解码器噪声的排序超额。最优模型仍有13.4%的试次输出翻转，提示词级缓解措施无法泛化到视觉推理。
论文Facet-ProbeMLLMGemini多模态模型可靠性
推荐理由：这篇论文用Facet-Probe测试了18个主流多模态大模型，发现它们对输入顺序都很敏感，最好的模型也错13.4%，提醒我们模型可靠性还不是想象中那么好。
原文
6月11日
15:28
15:23
15:07
6月5日
12:05
12:05官方账号arXiv cs.AI@Shiyun Xiong, Dongming Wu, Peiwen Sun, Yuang Ai, Bokang Yang, Wencheng Han, Xiao-Hui Li, Xiangyu Yue
精选
论文提出 Benchmark Agent，一个全自动构建 LLM/MLLM 评测基准的智能体系统。它从用户需求分析、子任务设计到数据标注和质量控制，全流程自动化。作者用它生成了 15 个覆盖文本理解、多模态理解和领域推理的基准，经人类评估和 LLM 评判验证，质量高且无需人工参与。该系统解决了传统基准构建劳动密集、易饱和的问题，能持续生成新基准以区分顶尖模型。代码和预览已公开。
论文评测基准智能体自动化LLMMLLM
推荐理由：做 LLM 评测的团队终于有了自动化工具——Benchmark Agent 能持续生成新基准，避免模型性能饱和，建议做模型评估的开发者直接试试。
原文
6月1日
00:09
5月29日
08:02
AITOP5月29日 08:02
Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？🔥Anthropic 把 AI 编程的“确认键”彻底删掉了！Claude Code 搭载全新 Opus 4.8 模型，长时间任务不跑偏、不废话、不中断，像一个资深工程师一样默默干活，从功能开发到漏洞清扫全包圆，你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”，现在它直接交完整交付物……自主编程的最后一层窗户纸，被捅破了。做自动化开发和代码审查的团队，这个模型建议直接上手，效率差距肉眼可见……Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？
5月19日
14:23
14:23官方账号arXiv cs.AI@Yining Hong, Jiageng Liu, Han Yin, Manling Li, Leonidas Guibas, Li Fei-Fei, Jiajun Wu, Yejin Choi
精选72°
研究团队提出 ESI-Bench，一个基于 OmniGibson 的具身空间智能基准，涵盖 10 类任务和 29 个子类，要求智能体主动探索而非被动感知。实验发现，主动探索显著优于被动多视角，但大多数失败源于“行动盲视”——错误行动导致错误观察，进而引发级联错误。即使引入 3D 空间理解，不完美的 3D 表示反而比 2D 基线更差。人类研究显示，模型缺乏元认知能力，过早下结论且不修正信念，暴露了感知与行动闭环中的关键鸿沟。
论文具身智能空间推理感知-行动闭环基准测试MLLM
推荐理由：做具身智能、机器人或空间推理的团队，ESI-Bench 直接点出了当前 MLLM 在主动探索和行动决策上的致命短板，看完会重新思考你的感知-行动闭环设计。
原文