AITOP

VLM

共 22 条相关 AI 资讯
7月9日
09:11
09:11官方账号arXiv cs.AI@Feng He, Zhenting Wang, Qifan Wang, Qiang Guan, Dongfang Liu, Ruixiang Tang, Qiankun Li
HIVE是用于研究视觉语言模型幻觉后推理（PHR）的评估基础设施，支持在忠实caption与幻觉caption之间进行受控比较。在9个任务和9个模型上的实验表明，幻觉caption在视觉语言任务上平均提升准确率，而纯文本任务的影响有限且不稳定。进一步分析显示，幻觉线索扩展了语义覆盖范围并重塑推理动态，同时保持稳定的推理路径。该研究揭示了视觉语言模型中幻觉语义进入推理阶段后的具体影响机制。
论文HIVEVLM幻觉后推理视觉语言模型
推荐理由：这篇论文用HIVE框架系统分析了VLM的幻觉后推理，发现幻觉caption反而提升部分视觉任务准确率，值得看看他们怎么设计和验证的。
原文
7月8日
10:17
10:17官方账号arXiv cs.AI@Yoav Baron, Sara Dorfman, Roni Paiss, Daniel Cohen-Or, Or Patashnik
本文研究VLM在扩散图像编辑管线中作为条件编码器时的定位能力下降问题。作者提出Analysis-by-Proxy框架，训练轻量级代理模型在VLM中间表示上执行辅助定位任务。实验发现，在单次前向传递约束下，定位信号未可靠传播到预设条件层配置，而是隐藏在随输入提示变化的中间表示中。该框架揭示了现有编辑管线条件提取策略的根本失败，为设计更合理的条件架构提供了方向。
论文VLMAnalysis-by-Proxy扩散模型图像编辑条件编码器
推荐理由：这篇论文把VLM做图像编辑时定位不准的老问题挖到底了——原来不是模型不行，是提取信号的方式错了。他们用了个'代理分析'的巧招，把隐藏的定位信号给揪了出来，搞编辑管线的值得一看。
原文
10:16
7月7日
11:36
11:36官方账号arXiv cs.AI@Jiaqi Peng, Xiqian Yu, Delin Feng, Yuqiang Yang, Wenzhe Cai, Jing Xiong, Ganlin Yang, Jinliang Zheng, Jiafei Cao, Xueyuan Wei, Jiangmiao Pang, Yuan Shen, Tai Wang
Cortex是一个双向对齐的体现代理框架，通过将操作子任务标准化为32个规范技能原语，并结合可执行性约束（如对象属性和轨迹可达性）自动标注4000+小时开源视频数据并生成30小时模拟数据。在Libero-long和RoboTwin基准上，Cortex分别比单一VLA模型提升3.1%和4.1%。其通用VLM与微调VLA结合，能零样本完成未见过的真实世界长程任务（如多阶段化学实验），而这单靠VLA微调无法实现。
AI模型CortexVLAVLMLiberoRoboTwin体现代理长程操作
推荐理由：Cortex把长程操作拆成32个标准动作，用开放数据自动训练，比纯VLA模型在Libero和RoboTwin上高3-4%，还能零样本做化学实验。
原文
7月3日
10:01
10:01官方账号arXiv cs.AI@Rintaro Otsubo, Ryo Fujii, Reina Ishikawa, Taiki Kanaya, Kanta Sawafuji, Hiroki Kajita, Shigeki Sakai, Hideo Saito, Ryo Hachiuma
AnyGroundBench是一个域适应基准测试，将时空视频定位评估从静态零样本测试转向严格的域适应。它覆盖动物、工业、运动、手术和公共安全五个专业领域，提供新拍摄视频（如专家标注的小鼠行为）与现有数据集配对，并配备密集的高保真时空标注。评估了15个SOTA视觉语言模型（VLM）的零样本泛化和上下文学习（ICL）能力。结果表明，当前模型在专业领域上的零样本和基于ICL的适应均失败，暴露出时空推理的关键缺陷。
论文AnyGroundBenchVLM视频定位域适应基准测试
推荐理由：想看看现在的VLM在专业视频场景下有多拉胯？这篇论文搞了个AnyGroundBench基准，测了15个模型在动物、手术等5个领域的表现，结果全翻车了。
原文
7月1日
10:14
09:56
09:56官方账号arXiv cs.LG@Clément Fuchs, Tim Bary, Benoît Macq
本文对视觉-语言模型（VLMs）在自然图像分类任务上使用局部化共形预测（localized conformal prediction）进行不确定性量化。作者通过开源实现基准测试，发现直接使用测试样本与校准样本视觉特征的余弦相似度并不能优于非局部基线。他们提出一种简单的非线性变换，在保持边缘覆盖保证的同时，实现了统计显著的集合大小平均减少。实验在多个VLM上验证了有效性。
论文VLM共形预测不确定性量化图像分类余弦相似度
推荐理由：这篇论文发现直接用余弦相似度搞局部共形预测效果一般，但换个非线性变换后，预测集变小了，值得做VLM不确定性量化的看看。
原文
6月30日
13:53
13:46
13:46官方账号arXiv cs.AI@Xinlei Yu, Gen Li, Qingyi Si, Guibin Zhang, Yuqi Xu, Congcong Wang, Shuai Dong, Kaiwen Tuo, Xiangyu Zeng, Kaituo Feng, Qunzhong Wang, Yang Shi, Xiaobin Hu, Xiangyu Yue, Jiaqi Wang, Shuicheng Yan
精选
DOPD是一种advantage-aware的双重蒸馏范式，通过动态路由令牌级监督信号，在特权教师和特权学生策略之间进行分配，缓解了传统同策略蒸馏中的特权幻觉问题。实验在LLM（如GPT-2）和VLM（如CLIP）上验证，结果显示DOPD在稳定性和鲁棒性等指标上持续优于Vanilla OPD。
论文DOPDLLMVLM蒸馏模型压缩
推荐理由：这篇论文提出了一种新蒸馏方法DOPD，通过分令牌监督解决特权幻觉，在LLM和VLM上效果都更好，适合关注模型压缩的研究者。
原文
6月25日
09:32
09:32官方账号arXiv cs.AI@Divake Kumar, Sina Tayebati, Devashri Naik, Amanda Sofie Rios, Nilesh Ahuja, Omesh Tickoo, Ranganath Krishnan, Amit Ranjan Trivedi
Argus基准系统评估了4个VLM智能体和4个数据集上27种开箱不确定性量化方法，以及3个闭源供应商的8种方法。主要发现是UQ排名在固定模型下跨数据集稳定（Spearman rho最高0.969），但跨模型类和接口时衰减。隐状态和密度法在开箱族中最稳定，而CoCoA-1MCA、Focus等方法在特定场景胜出。闭源UQ需在目标上重新排序，平均转移相关性仅+0.08。校准后局部加权盘半径缩小40-60%，但校准-测试不匹配时覆盖度下降。
论文ArgusVLMGUI定位不确定性量化计算机使用智能体
推荐理由：这篇论文搞了个Argus基准，比较了27种不确定性方法在4个VLM模型和4个GUI数据集上的表现。结论很实在：方法排名换模型就不灵了，闭源还得单独测。做智能体部署的可以看看。
原文
6月19日
10:10
10:10官方账号arXiv cs.AI@Bo Yin, Xiaobin Hu, Chengming Xu, Ruolin Shen, Mo Yang, Jiangning Zhang, Peng-Tao Jiang, Cheng Tan, Shuicheng YAN
SPOT-E方法针对视觉语言模型在处理证据密集型任务时因小区域视觉证据被忽略导致的读取失败问题。该方法利用答案跨度预测熵作为模型内部反馈，通过低熵锚点和熵整形目标消除歧义，避免模型陷入捷径塌缩。SPOT-E基于GRPO进行每实例轻量级调优，生成问题条件化的聚光灯。在多个VLM族和基准测试中，SPOT-E一致提升了性能并增强了视觉损坏鲁棒性。代码已开源。
论文SPOT-EVLMGRPO多模态测试时优化
推荐理由：SPOT-E这个新方法挺有意思，它不重训模型，只在推理时搞了个视觉聚光灯和熵整形，就让VLM在那些需要细看局部证据的任务上表现好多了。尤其用GRPO调优，效果提升还挺稳定。
原文
01:32
6月18日
10:57
10:57官方账号arXiv cs.LG@Nikita Kachaev, Andrey Moskalenko, Matvey Skripkin, Nikita Kurlaev, Daria Pugacheva, Albina Burlova, Mikhail Kolosov, Denis Shepelev, Andrey Kuznetsov, Elena Tutubalina, Aleksandr I. Panov, Alexey K. Kovalev, Vlad Shakhuro
论文提出 Act2Answer 协议，通过让智能体在桌面场景中执行物体放置动作来选择答案，从而在动作层面评估 7 个 VLA 模型和 9 个 VLM 基线在常识与知识任务上的表现。研究发现，VLA 在简单概念上表现扎实，但在丰富语义类别上相比源 VLM 出现更大差距。实验还表明，VQA 联合训练有助于提升知识保留，而答案相关信息在 VLA 中层达到峰值，上层则衰减。
论文VLAVLMAct2Answer常识推理多模态
推荐理由：想知道微调后的机器人模型到底还记不记得常识？这篇论文用动作答题的方式测了7个VLA，发现简单概念还行，复杂知识掉得厉害。
原文
6月16日
11:19
6月15日
11:13
6月11日
11:28
11:28官方账号arXiv cs.AI@Jadelynn Dao, Milan Ganai, Yasmina Abukhadra, Ajay Sridhar, Mozhgan Nasr Azadani, Katie Luo, Clark Barrett, Jiajun Wu, Chelsea Finn, Marco Pavone
精选72°
DIRECT 是一个路由框架，利用多模态场景上下文为每个提示分配测试时计算资源，以改善成功-成本帕累托前沿。研究发现，在链式思维深度、模型大小和记忆历史三个缩放轴上，测试时计算并非均匀杠杆，不同轴带来不同能力增益。在 VLABench 和 RoboMME 上的实验表明，DIRECT 在物理 Franka 机械臂上匹配或超越更强模型的成功率，同时平均延迟降低高达 65%。该工作揭示了朴素缩放测试时计算的浪费性，为具身代理的部署提供了更高效的方案。
论文具身智能测试时计算路由框架VLM机器人规划
推荐理由：DIRECT 解决了具身规划中测试时计算资源浪费的问题，做机器人部署和 VLM 应用的团队可以直接参考其路由策略，在降低成本的同时保持性能。
原文
6月10日
09:33
09:33官方账号arXiv cs.LG@Artur Kuramshin, Özgür Aslan, Cyrus Neary, Glen Berseth
精选
机器人学习中的大规模策略在操作任务上表现优异，但指令跟随能力不足，主要原因是现有数据集缺乏语言和动作序列多样性。TREAD提出一种可扩展框架，利用大型视觉语言模型（VLM）对现有机器人数据集进行重标注，无需额外数据采集。该方法通过三个步骤：从原始指令生成语义子任务、基于子任务分割演示视频、生成包含物体属性的多样化指令，将长演示分解为语言-动作对。实验表明，在LIBERO基准上，使用TREAD增强数据训练的策略在未见任务和目标上表现更好，提升了规划泛化和语言条件策略泛化能力。
论文机器人学习数据增强VLM指令跟随泛化
推荐理由：做机器人数据增强和指令跟随的团队，TREAD用VLM低成本提升数据集质量，直接增强策略泛化，值得在LIBERO等基准上试试。
原文
6月9日
10:25
10:25官方账号arXiv cs.AI@Haizhou Ge, Yufei Jia, Yue Li, Zhixing Chen, Lu Shi, Lei Han, Guyue Zhou, Ruqi Huang
精选
机器人探索操作中，一次看似失败的尝试（如拉锁住的抽屉）往往揭示了完成任务的关键前提条件。本文形式化定义了探索操作轨迹问答（EMT-QA）任务：给定同步视频和本体感知数据，预测最小成功动作链。现有VLM和具身多模态大模型无法可靠地从原始数据中恢复该链条。作者提出闭环轨迹蒸馏（Closed-Loop Trace Distillation）方法，通过每个任务的编码代理检查标注轨迹，蒸馏出一行自然语言提示（DRH）。在三个模拟器和两个真实机器人任务上，DRH将链条预测准确率提升0.38-0.47，且DRH本身可作为一次性程序化分类器的唯一规范。
论文探索操作轨迹问答VLM蒸馏提示机器人
推荐理由：机器人操作中失败尝试常被忽略，但本文证明它们才是关键线索——做具身智能或机器人规划的团队，可以用蒸馏出的单行提示直接提升VLM的轨迹理解能力，值得在仿真和真实场景中试试。
原文
6月5日
00:51
00:51Jerry Liu@jerryjliu0
LlamaIndex 团队在 CVPR 2026 上发布了 ParseBench，这是一个针对视觉语言模型（VLM）的文档理解基准测试。该基准包含 2000 页真实企业文档，评估模型在表格、图表、视觉定位、语义格式和内容忠实度等方面的能力。核心目标是衡量模型是否能正确语义理解文档，而不只是过拟合基准。团队指出，当前前沿模型多针对编程、数学和科学推理优化，缺乏精确的视觉理解能力，ParseBench 旨在推动这一领域的进步。相关论文和网站已公开。
论文ParseBench文档理解基准测试VLMCVPR
推荐理由：做文档解析或 RAG 系统的开发者终于有了一个贴近真实业务场景的评估工具——ParseBench 用 2000 页企业文档测试 VLM 的语义理解能力，比现有基准更贴近实际需求，值得关注并尝试。
原文
6月4日
22:24
22:24Jerry Liu@jerryjliu0
72°
LlamaIndex 在 CVPR 2026 上发布了 ParseBench，这是目前最全面的文档理解基准测试，专门用于评估视觉语言模型（VLM）对真实企业文档的解析能力。该基准包含 2000 页真实企业文档、167K+ 测试规则，覆盖表格、图表、视觉定位、语义格式和内容忠实度五个维度。核心目标是衡量模型能否正确语义理解文档，避免过拟合到特定基准。当前前沿模型更擅长编程、数学和科学推理，而文档 OCR 的 100% 准确解析仍是最终挑战，ParseBench 旨在推动这一方向进步。
论文文档理解基准测试VLMOCRLlamaIndex
推荐理由：做文档解析、RAG 或 AI Agent 的团队终于有了一个靠谱的评测标准——ParseBench 覆盖了企业文档的真实痛点，建议直接拿去测你的模型或产品。
原文
5月27日
10:31
10:31官方账号arXiv cs.AI@Zhifei Dou, Shabnam Hassani, Ou Wei
精选
工业需求工程中流程图常以静态图片存在，Vision Language Models (VLMs) 在将其转为机器可读模型时，常丢失拓扑关键细节。EdgeFlow 通过向VLM输入添加Canny边缘图作为结构先验，显著提升流程图到Mermaid的转换质量。在真实工业数据集IndusReqFlow上，节点F1提升17.39个百分点，边F1提升16.94个百分点，路径F1提升11.06个百分点。该方法无需标注数据或微调，为工业需求工程提供了一种实用的无训练方案。
论文VLM流程图转换工业需求工程边缘图增强无训练方法
推荐理由：工业需求工程师和RE工具开发者终于有了一个无需训练就能提升流程图转换精度的方案——EdgeFlow用边缘图做结构先验，直接让VLM的拓扑识别能力跃升，做模型驱动测试的团队值得一试。
原文
5月15日
11:00
11:00官方账号arXiv cs.AI@Yi Zhang, Yinda Chen, Che Liu, Zeyuan Ding, Jin Xu, Shilong Zou, Junwei Liao, Jiayu Hu, Xiancong Ren, Xiaopeng Zhang, Yechi Liu, Haoyuan Shi, Zecong Tang, Haosong Sun, Renwen Cui, Kuishu Wu, Wenhai Liu, Yang Xu, Yingji Zhang, Yidong Wang, Senkang Hu, Jinpeng Lu, Nga Teng Chan, Yechen Wu, Yong Dai, Jian Tang, Xiaozhu Ju
精选
Pelican-Unified 1.0 是首个按照统一原则训练的具身基础模型，将场景理解、指令推理、未来想象和动作执行整合到单一模型中。它使用一个视觉语言模型（VLM）作为统一的理解和推理模块，并通过统一未来生成器（UFG）同时生成未来视频和动作。实验表明，统一并未牺牲性能：在八个VLM基准上平均得分64.7，在WorldArena上排名第一（66.03），在RoboTwin上达到93.5（动作方法中第二好）。该工作展示了统一范式在保持专家级性能的同时，将多种能力融合到一个模型中的可行性。
论文具身智能统一模型VLM未来生成动作规划
推荐理由：具身智能研究者终于有了一个统一框架——Pelican-Unified 1.0 用一个模型搞定理解、推理、想象和行动，不再需要拼凑三个独立系统。做机器人、仿真或多模态模型的团队值得关注，它证明了统一不意味着妥协。
原文