AITOP

视觉语言模型

共 43 条相关 AI 资讯
5月19日
11:42
11:42官方账号arXiv cs.AI@Junming Liu, Yuqi Li, Yifei Sun, Maonan Wang, Piotr Koniusz, Yirong Chen, Ding Wang
精选
视觉语言模型（VLM）在空间推理上仍存在脆弱性，即使能正确回答原始输入，也可能在变换后失败。为此，研究者提出SAGE（Spatial Alignment via Geometric Evolution），一种自进化框架，通过几何和语言对偶操作强制VLM保持逻辑一致性。SAGE将一致性作为GRPO训练的辅助奖励，并动态调整操作池以聚焦最具信息量的信号。该方法模型无关、数据高效，可作为轻量后训练阶段应用于任何VLM。实验表明，SAGE在视频和空间推理基准上持续优于强基线，并提升了对未见数据的泛化能力。
论文空间推理视觉语言模型自进化训练逻辑一致性GRPO
推荐理由：空间推理是VLM的硬伤，SAGE用自进化训练解决了这个痛点，做多模态模型训练或空间理解应用的团队可以直接参考方法。
原文
11:28
11:28官方账号arXiv cs.AI@Pawat Chunhachatrachai, Gueter Josmy Faure, Hung-Ting Su, Winston H. Hsu
精选
SpatioRoute 是一种无需训练或微调的动态提示生成方法，用于提升视觉语言模型在零样本设置下对第一人称视频的空间问答能力。它通过规则或大语言模型驱动的路由，将每个问题映射到语义定制的提示模板，在 SQA3D 基准上相比固定提示基线提升高达 5% 的准确率，且无需 3D 点云输入。研究还发现，链式思维提示在 Qwen 系列模型上反而会降低性能，表明问题感知路由比统一推理指令更有效。
论文零样本推理空间问答提示工程视觉语言模型SQA3D
推荐理由：做零样本视频空间推理的团队终于有了一个即插即用的提升方案——SpatioRoute 无需额外训练就能涨点 5%，做 VLM 应用的开发者可以直接在 SQA3D 上试试。
原文
5月18日
11:50
11:50官方账号arXiv cs.AI@Jin Shi, Brady Zhang, Yishun Lu
精选
VLA-AD提出一种蒸馏框架，利用视觉语言模型作为离线语义监督器，将大型VLA教师模型（如OpenVLA-7B）压缩为轻量级学生策略（158M参数），模型大小减少44倍，推理速度提升3.28倍（12.5 Hz on RTX 4090），性能仅下降0.27%。该方法不仅模仿底层动作，还引入任务阶段锚点和多帧操作方向描述等高层语义信号，仅在训练时使用，测试时学生策略独立运行。在LIBERO基准测试中，VLA-AD对π0.5-4B教师也有效，学生策略在部分任务上甚至超越教师。额外分析表明，语义引导使学生对教师动作噪声（如高频夹爪误操作）更鲁棒。
论文VLA策略模型蒸馏机器人操控视觉语言模型推理加速
推荐理由：做机器人策略部署的团队终于有了实用的模型压缩方案——VLA-AD用VLM离线语义信号替代在线大模型，7B教师变158M学生，速度3倍提升且性能几乎无损，做实时闭环控制的开发者可以直接参考。
原文