AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:多模态推理×
6月23日
11:04
11:04arXiv cs.AI@Zhuoran Jin, Kejian Zhu, Hongbang Yuan, Yupu Hao, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao
该研究系统评估12项多模态任务,涵盖感知与推理两类,使用14个非推理模型和8个推理模型。结果显示,CoT在视觉定位、目标计数等感知任务中会导致性能下降,但在数学、科学和多图推理中有效。开源多模态推理模型整体提升有限,可能因过度侧重数学。当前多模态CoT存在'轻看,重思'模式,视觉反省持续减弱,而口头反思相对保持。视觉推理仍是主要瓶颈。
论文CoT多模态推理推理模型视觉推理多模态任务

推荐理由:这篇论文系统测了多模态思维链到底行不行,发现它在视觉定位上帮倒忙,但对数学推理很管用,还揭示了视觉瓶颈。做多模态的值得看。
原文
6月16日
20:46
AITOP6月16日 20:46
600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI
6月12日
12:57
AITOP6月12日 12:57
Claude代码里藏了个20260612,18个月后的AI记忆革命已经开始倒计时
6月11日
15:28
AITOP6月11日 15:28
1107 vs 303:谷歌悄悄开源了一个“拆打字机”的模型,把大模型速度翻了4倍
15:23
AITOP6月11日 15:23
DiffusionGemma颠覆文本生成?自回归模型的“统治”要结束了
15:07
AITOP6月11日 15:07
每秒1107个token,Google开源的扩散模型为什么能改变本地推理格局?
5月25日
11:13
11:13arXiv cs.AI@Beichen Zhang, Yuhong Liu, Jinsong Li, Yuhang Zang, Jiaqi Wang, Dahua Lin
精选
多模态大语言模型在视觉推理上虽有进步,但纯文本思维链在处理需要精细关注或视角变换的问题时仍是瓶颈。现有“用图像思考”的方法要么受限于固定工具集,要么产生噪声中间图像。ETCHR 提出第三种方案:使用专用图像编辑模型,并将其与理解模型解耦。它通过两阶段训练(推理模仿和推理增强)解决语言侧和生成侧的差距,使编辑器能根据问题主动进行视觉变换。实验表明,ETCHR 在五个任务族上平均提升 Pass@1 约 5 个百分点,且可即插即用于多种开源和闭源多模态模型。
论文多模态推理图像编辑视觉问答推理增强ETCHR

推荐理由:做多模态推理或视觉问答的开发者,ETCHR 提供了一种无需微调即可提升模型准确率的思路,值得在现有工作流中试试。
原文
5月19日
11:38
11:38arXiv cs.AI@Haoyu Zhang, Qiaohui Chu, Yisen Feng, Meng Liu, Weili Guan, Yaowei Wang, Liqiang Nie
精选
MARS 是一个多模态智能体推理系统,专为 EgoVis 2026 的 CASTLE 挑战赛设计。该挑战要求回答 185 个关于四天活动、15 个同步视角、官方转录及多种辅助模态(如个人照片、热成像、心率数据)的封闭式问题。MARS 将任务视为多模态证据选择问题,通过构建视频和转录等主要来源以及辅助来源的证据记忆,并使用 DeepSeek 压缩长视频,最后通过 GPT-5.4 决策代理选择继续推理、请求缺失模态或生成答案。该系统在最终排行榜上获得第二名,代码已开源。
AI模型多模态推理智能体视频理解开源/仓库GPT-5.4

推荐理由:多模态推理是 AI 落地的关键瓶颈,MARS 展示了如何整合视频、转录、热成像等异构数据做智能体决策,做多模态 AI 或视频理解的团队值得参考其开源代码。
原文
精选全部日报登录