AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：VLM×
6月25日
09:32
09:32arXiv cs.AI@Divake Kumar, Sina Tayebati, Devashri Naik, Amanda Sofie Rios, Nilesh Ahuja, Omesh Tickoo, Ranganath Krishnan, Amit Ranjan Trivedi
Argus基准系统评估了4个VLM智能体和4个数据集上27种开箱不确定性量化方法，以及3个闭源供应商的8种方法。主要发现是UQ排名在固定模型下跨数据集稳定（Spearman rho最高0.969），但跨模型类和接口时衰减。隐状态和密度法在开箱族中最稳定，而CoCoA-1MCA、Focus等方法在特定场景胜出。闭源UQ需在目标上重新排序，平均转移相关性仅+0.08。校准后局部加权盘半径缩小40-60%，但校准-测试不匹配时覆盖度下降。
论文ArgusVLMGUI定位不确定性量化计算机使用智能体
推荐理由：这篇论文搞了个Argus基准，比较了27种不确定性方法在4个VLM模型和4个GUI数据集上的表现。结论很实在：方法排名换模型就不灵了，闭源还得单独测。做智能体部署的可以看看。
原文
6月19日
10:10
10:10arXiv cs.AI@Bo Yin, Xiaobin Hu, Chengming Xu, Ruolin Shen, Mo Yang, Jiangning Zhang, Peng-Tao Jiang, Cheng Tan, Shuicheng YAN
SPOT-E方法针对视觉语言模型在处理证据密集型任务时因小区域视觉证据被忽略导致的读取失败问题。该方法利用答案跨度预测熵作为模型内部反馈，通过低熵锚点和熵整形目标消除歧义，避免模型陷入捷径塌缩。SPOT-E基于GRPO进行每实例轻量级调优，生成问题条件化的聚光灯。在多个VLM族和基准测试中，SPOT-E一致提升了性能并增强了视觉损坏鲁棒性。代码已开源。
论文SPOT-EVLMGRPO多模态测试时优化
推荐理由：SPOT-E这个新方法挺有意思，它不重训模型，只在推理时搞了个视觉聚光灯和熵整形，就让VLM在那些需要细看局部证据的任务上表现好多了。尤其用GRPO调优，效果提升还挺稳定。
原文
01:32
6月18日
10:57
10:57arXiv cs.LG@Nikita Kachaev, Andrey Moskalenko, Matvey Skripkin, Nikita Kurlaev, Daria Pugacheva, Albina Burlova, Mikhail Kolosov, Denis Shepelev, Andrey Kuznetsov, Elena Tutubalina, Aleksandr I. Panov, Alexey K. Kovalev, Vlad Shakhuro
论文提出 Act2Answer 协议，通过让智能体在桌面场景中执行物体放置动作来选择答案，从而在动作层面评估 7 个 VLA 模型和 9 个 VLM 基线在常识与知识任务上的表现。研究发现，VLA 在简单概念上表现扎实，但在丰富语义类别上相比源 VLM 出现更大差距。实验还表明，VQA 联合训练有助于提升知识保留，而答案相关信息在 VLA 中层达到峰值，上层则衰减。
论文VLAVLMAct2Answer常识推理多模态
推荐理由：想知道微调后的机器人模型到底还记不记得常识？这篇论文用动作答题的方式测了7个VLA，发现简单概念还行，复杂知识掉得厉害。
原文
6月16日
20:46
11:19
6月15日
11:13
6月12日
12:57
6月11日
15:28
15:23
15:07
11:28
11:28arXiv cs.AI@Jadelynn Dao, Milan Ganai, Yasmina Abukhadra, Ajay Sridhar, Mozhgan Nasr Azadani, Katie Luo, Clark Barrett, Jiajun Wu, Chelsea Finn, Marco Pavone
精选72°
DIRECT 是一个路由框架，利用多模态场景上下文为每个提示分配测试时计算资源，以改善成功-成本帕累托前沿。研究发现，在链式思维深度、模型大小和记忆历史三个缩放轴上，测试时计算并非均匀杠杆，不同轴带来不同能力增益。在 VLABench 和 RoboMME 上的实验表明，DIRECT 在物理 Franka 机械臂上匹配或超越更强模型的成功率，同时平均延迟降低高达 65%。该工作揭示了朴素缩放测试时计算的浪费性，为具身代理的部署提供了更高效的方案。
论文具身智能测试时计算路由框架VLM机器人规划
推荐理由：DIRECT 解决了具身规划中测试时计算资源浪费的问题，做机器人部署和 VLM 应用的团队可以直接参考其路由策略，在降低成本的同时保持性能。
原文
6月10日
09:33
09:33arXiv cs.LG@Artur Kuramshin, Özgür Aslan, Cyrus Neary, Glen Berseth
精选
机器人学习中的大规模策略在操作任务上表现优异，但指令跟随能力不足，主要原因是现有数据集缺乏语言和动作序列多样性。TREAD提出一种可扩展框架，利用大型视觉语言模型（VLM）对现有机器人数据集进行重标注，无需额外数据采集。该方法通过三个步骤：从原始指令生成语义子任务、基于子任务分割演示视频、生成包含物体属性的多样化指令，将长演示分解为语言-动作对。实验表明，在LIBERO基准上，使用TREAD增强数据训练的策略在未见任务和目标上表现更好，提升了规划泛化和语言条件策略泛化能力。
论文机器人学习数据增强VLM指令跟随泛化
推荐理由：做机器人数据增强和指令跟随的团队，TREAD用VLM低成本提升数据集质量，直接增强策略泛化，值得在LIBERO等基准上试试。
原文
6月9日
10:25
10:25arXiv cs.AI@Haizhou Ge, Yufei Jia, Yue Li, Zhixing Chen, Lu Shi, Lei Han, Guyue Zhou, Ruqi Huang
精选
机器人探索操作中，一次看似失败的尝试（如拉锁住的抽屉）往往揭示了完成任务的关键前提条件。本文形式化定义了探索操作轨迹问答（EMT-QA）任务：给定同步视频和本体感知数据，预测最小成功动作链。现有VLM和具身多模态大模型无法可靠地从原始数据中恢复该链条。作者提出闭环轨迹蒸馏（Closed-Loop Trace Distillation）方法，通过每个任务的编码代理检查标注轨迹，蒸馏出一行自然语言提示（DRH）。在三个模拟器和两个真实机器人任务上，DRH将链条预测准确率提升0.38-0.47，且DRH本身可作为一次性程序化分类器的唯一规范。
论文探索操作轨迹问答VLM蒸馏提示机器人
推荐理由：机器人操作中失败尝试常被忽略，但本文证明它们才是关键线索——做具身智能或机器人规划的团队，可以用蒸馏出的单行提示直接提升VLM的轨迹理解能力，值得在仿真和真实场景中试试。
原文
6月5日
00:51
00:51Jerry Liu@jerryjliu0
LlamaIndex 团队在 CVPR 2026 上发布了 ParseBench，这是一个针对视觉语言模型（VLM）的文档理解基准测试。该基准包含 2000 页真实企业文档，评估模型在表格、图表、视觉定位、语义格式和内容忠实度等方面的能力。核心目标是衡量模型是否能正确语义理解文档，而不只是过拟合基准。团队指出，当前前沿模型多针对编程、数学和科学推理优化，缺乏精确的视觉理解能力，ParseBench 旨在推动这一领域的进步。相关论文和网站已公开。
论文ParseBench文档理解基准测试VLMCVPR
推荐理由：做文档解析或 RAG 系统的开发者终于有了一个贴近真实业务场景的评估工具——ParseBench 用 2000 页企业文档测试 VLM 的语义理解能力，比现有基准更贴近实际需求，值得关注并尝试。
原文
6月4日
22:24
22:24Jerry Liu@jerryjliu0
72°
LlamaIndex 在 CVPR 2026 上发布了 ParseBench，这是目前最全面的文档理解基准测试，专门用于评估视觉语言模型（VLM）对真实企业文档的解析能力。该基准包含 2000 页真实企业文档、167K+ 测试规则，覆盖表格、图表、视觉定位、语义格式和内容忠实度五个维度。核心目标是衡量模型能否正确语义理解文档，避免过拟合到特定基准。当前前沿模型更擅长编程、数学和科学推理，而文档 OCR 的 100% 准确解析仍是最终挑战，ParseBench 旨在推动这一方向进步。
论文文档理解基准测试VLMOCRLlamaIndex
推荐理由：做文档解析、RAG 或 AI Agent 的团队终于有了一个靠谱的评测标准——ParseBench 覆盖了企业文档的真实痛点，建议直接拿去测你的模型或产品。
原文
5月27日
10:31
10:31arXiv cs.AI@Zhifei Dou, Shabnam Hassani, Ou Wei
精选
工业需求工程中流程图常以静态图片存在，Vision Language Models (VLMs) 在将其转为机器可读模型时，常丢失拓扑关键细节。EdgeFlow 通过向VLM输入添加Canny边缘图作为结构先验，显著提升流程图到Mermaid的转换质量。在真实工业数据集IndusReqFlow上，节点F1提升17.39个百分点，边F1提升16.94个百分点，路径F1提升11.06个百分点。该方法无需标注数据或微调，为工业需求工程提供了一种实用的无训练方案。
论文VLM流程图转换工业需求工程边缘图增强无训练方法
推荐理由：工业需求工程师和RE工具开发者终于有了一个无需训练就能提升流程图转换精度的方案——EdgeFlow用边缘图做结构先验，直接让VLM的拓扑识别能力跃升，做模型驱动测试的团队值得一试。
原文
5月15日
11:00
11:00arXiv cs.AI@Yi Zhang, Yinda Chen, Che Liu, Zeyuan Ding, Jin Xu, Shilong Zou, Junwei Liao, Jiayu Hu, Xiancong Ren, Xiaopeng Zhang, Yechi Liu, Haoyuan Shi, Zecong Tang, Haosong Sun, Renwen Cui, Kuishu Wu, Wenhai Liu, Yang Xu, Yingji Zhang, Yidong Wang, Senkang Hu, Jinpeng Lu, Nga Teng Chan, Yechen Wu, Yong Dai, Jian Tang, Xiaozhu Ju
精选
Pelican-Unified 1.0 是首个按照统一原则训练的具身基础模型，将场景理解、指令推理、未来想象和动作执行整合到单一模型中。它使用一个视觉语言模型（VLM）作为统一的理解和推理模块，并通过统一未来生成器（UFG）同时生成未来视频和动作。实验表明，统一并未牺牲性能：在八个VLM基准上平均得分64.7，在WorldArena上排名第一（66.03），在RoboTwin上达到93.5（动作方法中第二好）。该工作展示了统一范式在保持专家级性能的同时，将多种能力融合到一个模型中的可行性。
论文具身智能统一模型VLM未来生成动作规划
推荐理由：具身智能研究者终于有了一个统一框架——Pelican-Unified 1.0 用一个模型搞定理解、推理、想象和行动，不再需要拼凑三个独立系统。做机器人、仿真或多模态模型的团队值得关注，它证明了统一不意味着妥协。
原文