AITOP

VLA

共 23 条相关 AI 资讯
7月8日
10:16
10:16官方账号arXiv cs.LG@Ryuji Oi, Hikari Otsuka, Kosuke Matsushima, Yuki Ichikawa, Masato Motomura, Tatsuya Kaneko, Daichi Fujiki
论文提出ActionCache，一种即插即用的外部缓存，用于加速基于流匹配的视觉-语言-动作（VLA）模型推理。ActionCache通过存储紧凑多模态键的中期动作，从相似过往上下文（跨不同回合甚至任务）中检索来预热生成，减少迭代去噪步骤。在仿真和真实环境实验中，ActionCache在低延迟下保持高任务成功率，对π₀.₅和GR00T-N1.6分别实现高达11.75倍和34.43倍的推理加速。
论文ActionCacheVLAπ0.5GR00T-N1.6机器人操控
推荐理由：这篇论文用缓存中间动作的思路让VLA模型推理快11到34倍，而且不用重新训练，机器人实时控制场景很实用。
原文
7月7日
16:38
11:36
11:36官方账号arXiv cs.AI@Jiaqi Peng, Xiqian Yu, Delin Feng, Yuqiang Yang, Wenzhe Cai, Jing Xiong, Ganlin Yang, Jinliang Zheng, Jiafei Cao, Xueyuan Wei, Jiangmiao Pang, Yuan Shen, Tai Wang
Cortex是一个双向对齐的体现代理框架，通过将操作子任务标准化为32个规范技能原语，并结合可执行性约束（如对象属性和轨迹可达性）自动标注4000+小时开源视频数据并生成30小时模拟数据。在Libero-long和RoboTwin基准上，Cortex分别比单一VLA模型提升3.1%和4.1%。其通用VLM与微调VLA结合，能零样本完成未见过的真实世界长程任务（如多阶段化学实验），而这单靠VLA微调无法实现。
AI模型CortexVLAVLMLiberoRoboTwin体现代理长程操作
推荐理由：Cortex把长程操作拆成32个标准动作，用开放数据自动训练，比纯VLA模型在Libero和RoboTwin上高3-4%，还能零样本做化学实验。
原文
7月3日
11:33
11:33官方账号arXiv cs.AI@Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu
VLA模型受限于专家演示数据稀缺，这些数据需要观测、指令和动作的三元组，成本高昂。研究提出分解假设，将物理能力（如何移动）与语义对齐（做什么）解耦。基于此设计了TAP框架，先通过自监督逆动力学从无标签交互数据学习运动先验，再用少量专家数据将先验与语言对齐。在SIMPLER基准上，TAP匹配使用超过100万专家轨迹的模型，实现了10%的绝对提升。真实WidowX机器人平台测试中，TAP在相机扰动下保持25%成功率，而互联网规模基线降至0%。
论文VLATAPSIMPLERWidowX机器人学习预训练
推荐理由：这篇论文用无标签数据先学移动再学做事，SIMPLER上提升10%，真实机器人也抗干扰，思路很实用。
原文
7月2日
11:03
11:03官方账号arXiv cs.AI@Chenyang Ma, Yue Yang, Radu Corcodel, Siddarth Jain, Andrew Wu, Chiori Hori, Diego Romeres
FurnitureVLA是首个系统研究真实尺度双手机器人家具组装的工作，使用Vision-Language-Action模型（VLA）。该工作形式化了任务，开发了可扩展仿真管道，并通过VR遥操作收集高质量真实世界演示。模型可处理多达7个子任务和1550控制步骤的极长程组装，通过预测连续进度信号实现自动子任务转换。在三种家具类型上，FurnitureVLA将平均仿真成功率从48%提升到80%，设计因素研究额外带来21%增益。在真实Kinova Gen3平台上，最难任务仅有16%的性能下降。
AI模型FurnitureVLAVLA机器人家具组装双手机器人
推荐理由：如果你关注机器人组装，FurnitureVLA用VLA模型把仿真成功率从48%拉到80%，还能在真机上跑。它处理长程任务的方式很巧妙，值得看看。
原文
7月1日
15:33
6月26日
11:35
6月25日
10:59
10:59官方账号arXiv cs.AI@Shuyi Zhang, Yunfan Lou, Hongyang Cheng, Yichen Guo, Chuyao Fu, Yaoxu Lyu, Xiaojie Zhang, Haoran Li, Pengwei Wang, Zhongyuan Wang, Shanghang Zhang
FORCE是一个三阶段框架，通过价值校准热身和自蒸馏来稳定VLA模型的强化学习微调。它解决了Q函数不稳定导致的初期遗忘和低质量探索数据导致的策略更新低效问题。在模拟和真实任务上，FORCE取得了79%的绝对成功率提升，比此前RL方法高出10%，同时训练速度加快32.5%。该框架无需人工干预即可实现稳健性能。
AI模型FORCEVLA强化学习机器人
推荐理由：新框架FORCE让机器人学动作更快更稳，成功率飙升79%，比现有RL方法还快32.5%，不用人插手。
原文
6月24日
11:58
11:58官方账号arXiv cs.LG@Maggie Wang, Lars Osterberg, Stephen Tian, Ola Shorinwa, Jiajun Wu, Mac Schwager
InSight框架通过将VLA模型在原始动作层面变得可操控，从而解锁自主技能获取能力。该框架包含自动分割管道，利用VLM计划分解和末端执行器姿态将演示分割成带标签的原始动作，以及VLM引导的数据飞轮，自动识别缺失原始动作并尝试演示。在模拟和真实世界操作任务中（包括方块翻转、抽屉关闭、清扫、扭转、倒水）评估，无需任何人工演示即可学习这些技能。学到的原始动作可组合执行新颖的长周期任务，无需额外人工演示。
论文InSightVLA操作技能自主学习机器人
推荐理由：这篇论文提出了InSight框架，让机器人通过VLA模型自己学新技能，不用人教，就能搞定方块翻转、倒水这些操作，很有实用性。
原文
6月23日
13:02
13:02官方账号arXiv cs.AI@Ulas Berk Karli, Tesca Fitzgerald
论文提出RECALL方法，用于视觉-语言-动作（VLA）模型的主动持续学习。与被动模仿学习相比，不确定性引导的数据收集使微调效率提升30%以上。但仅训练恢复数据会导致灾难性遗忘，在OpenVLA模型上丢失20%的旧任务性能。评估了重放混合和弹性权重巩固（EWC）两种持续学习技术，发现可塑性与记忆保留之间存在权衡。实验在3个机器人操作任务上进行，表明不确定性引导的恢复演示能提升适应效率，但如何平衡新旧知识仍是开放挑战。
论文VLARECALL主动学习持续学习机器人
推荐理由：这篇论文研究了怎么让机器人在学新任务时不忘旧技能，用不确定性主动挑数据微调VLA模型，比被动收集更高效，还试了两种防遗忘方法，挺实在的。
原文
6月19日
10:12
10:12官方账号arXiv cs.AI@Gia-Binh Nguyen, Trong-Bao Ho, Thien-Loc Ha, Khoa Vo, Philip Lund Møller, Quang T. Nguyen, Long Dinh, Tuan Dam, Vu Duong, Tung M. Luu, Trung Le, Tran Nguyen Le, Minh Vu, An Thai Le, Ngan Le, Daniel Sonntag, James Zou, Jan Peters, Duy M. H. Nguyen, Ngo Anh Vien
VLA模型（如pi_0、GR00T-N1.5）参数规模达数十亿，微调计算成本高。本文通过中心核对齐（Centered Kernel Alignment）识别冗余层，无需训练即可移除最多50%的层。在LIBERO、RoboCasa、SimplerEnv三个模拟基准和10个真实操作任务、4种机器人本体上验证，压缩后模型性能与完整模型相当。微调时间减少40-50%，实时推理速度提升达30%。结果表明VLA模型实际所需层数远少于现有架构。
论文VLApi_0GR00T-N1.5模型压缩机器人操作
推荐理由：这篇论文发现VLA模型很多层是冗余的，用他们的方法可以白嫖50%层数，微调快一半，推理快30%，效果不降。搞机器人微调的可以试试。
原文
6月18日
10:57
10:57官方账号arXiv cs.LG@Nikita Kachaev, Andrey Moskalenko, Matvey Skripkin, Nikita Kurlaev, Daria Pugacheva, Albina Burlova, Mikhail Kolosov, Denis Shepelev, Andrey Kuznetsov, Elena Tutubalina, Aleksandr I. Panov, Alexey K. Kovalev, Vlad Shakhuro
论文提出 Act2Answer 协议，通过让智能体在桌面场景中执行物体放置动作来选择答案，从而在动作层面评估 7 个 VLA 模型和 9 个 VLM 基线在常识与知识任务上的表现。研究发现，VLA 在简单概念上表现扎实，但在丰富语义类别上相比源 VLM 出现更大差距。实验还表明，VQA 联合训练有助于提升知识保留，而答案相关信息在 VLA 中层达到峰值，上层则衰减。
论文VLAVLMAct2Answer常识推理多模态
推荐理由：想知道微调后的机器人模型到底还记不记得常识？这篇论文用动作答题的方式测了7个VLA，发现简单概念还行，复杂知识掉得厉害。
原文
09:51
6月16日
12:27
12:27官方账号arXiv cs.LG@Tongyan Fang, Siyuan Huang, Naiyu Fang, Ganlong Zhao, Zhongjin Luo, Jianbo Liu, Xiaogang Wang, Ying Dong, Hongsheng Li
针对VLA策略在线RL微调中每个回合仅产生二元结果（成功/失败）的问题，现有方法将稀疏结果简化为单一标量优势，混淆了可行性与效率两类目标。本文提出分层优势加权行为克隆（HABC），训练两个独立critic头分别优化这两类目标，并通过状态自适应门（gt）合并其输出。在三个接触丰富的双手机器人任务上，HABC将监督微调（SFT）基线36%、44%、12%的成功率分别提升至92%、88%、38%。
论文HABCVLA机器人学习在线强化学习
推荐理由：HABC方法解决了VLA在线RL微调中稀疏结果的问题，在双手机器人任务上成功率从12-44%提升到38-92%。
原文
6月5日
12:17
12:17官方账号arXiv cs.AI@Dong Jing, Jingchen Nie, Tianqi Zhang, Jiaqi Liu, Huaxiu Yao, Zhiwu Lu, Mingyu Ding
精选
现有视觉-语言-动作模型（VLA）只能以训练数据中的固定速度执行任务，无法在低风险阶段快速移动、高风险阶段慢速精确操作。TempoVLA 提出了一种速度可控的解决方案，通过可变速度轨迹增强（VSTA）和模型侧条件机制，让单一 VLA 模型能够根据显式速度条件调整执行速度。实验表明，TempoVLA 在仿真和真实任务中实现了双向灵活速度控制，且 VSTA 通过更好的数据利用提升了默认速度下的性能。与大型多模态模型结合后，TempoVLA 还能实现动态速度控制，在低风险阶段加速、高风险阶段减速。这项工作解决了机器人操作中速度自适应这一关键痛点。
论文VLA速度控制机器人操作轨迹增强动态调速
推荐理由：做机器人操作或 VLA 研究的团队终于有了一个能按需调速的方案——TempoVLA 让单一模型同时覆盖快速移动和慢速精确操作，值得关注其动态速度控制的实际效果。
原文
5月28日
12:02
12:02官方账号arXiv cs.LG@Krishnam Gupta
精选72°
研究发现视觉-语言-动作（VLA）模型在电机指令层面存在根本性、可预测的失败差异。通过对 VQ-BeT、Diffusion Policy 和 ACT 三种架构在 PushT 和 ALOHA 14-DOF 双臂操作任务上进行 450 次评估，发现方向反转率是通用失败预测指标（AUROC 最高 0.93），而急动度监控仅对离散令牌架构有效，速度监控在连续架构中几乎无效（AUROC 仅 0.41-0.52）。研究强调架构匹配的监控选择至关重要，并开源了 SafeContract 工具包。
论文VLA机器人动作监控失败预测SafeContract
推荐理由：做机器人 VLA 部署的团队注意了——不同架构的失败模式完全不同，用错监控等于白费功夫。建议直接看方向反转率这个通用指标，并试试 SafeContract 工具包。
原文
5月24日
12:56
5月22日
08:05
5月21日
12:57
12:57IT之家（博客/媒体）
小鹏汽车董事长何小鹏在 GX 上市后表示，激光雷达虽好，但在汽车领域已非必需，小鹏坚定走纯视觉路线。他强调，自动驾驶核心看实际效果而非传感器配置，小鹏依靠第二代 VLA 技术、大算力和大模型，在极端天气和黑夜等复杂工况下也能实现良好表现。小鹏集团通用智能中心负责人补充，激光雷达必要性取决于企业技术栈，没有绝对答案。这一表态反映了行业对纯视觉方案与激光雷达路线的持续争论。
行业激光雷达纯视觉自动驾驶小鹏VLA
推荐理由：何小鹏的发言直接回应了行业对纯视觉路线的质疑，做自动驾驶技术选型的团队值得关注——小鹏用实际案例证明，极端工况下大模型也能替代激光雷达。
原文
11:19
11:19官方账号arXiv cs.AI@Abhinaw Priyadershi, Jelena Frtunikj
精选
该研究系统评估了自动驾驶视觉-语言-动作模型（VLA）在传感器退化下的鲁棒性，对Alpamayo R1（10B参数）在1996个场景中施加8种扰动（高斯噪声、光照极端、雾霾），进行约18000次推理测试。结果发现，因果链（CoC）解释的一致性高精度指示轨迹可靠性：扰动后CoC变化时，轨迹偏差飙升5.3倍（21.8米 vs 4.1米），相关系数达0.99。启用CoC生成平均提升轨迹精度11.8%（p<0.0001）。研究建议将推理一致性作为规划安全定量代理，推动基于推理的运行时监控。
论文自动驾驶VLA推理鲁棒性因果链传感器扰动
推荐理由：自动驾驶安全团队终于有了可量化的推理可靠性指标——CoC一致性比直接测轨迹更早暴露风险，做VLA部署或安全验证的开发者值得关注这个监控思路。
原文
5月19日
09:54
09:54官方账号arXiv cs.AI@Nicanor Mayumu, Xiaoheng Deng, Patrick Mukala
精选
该研究首次系统评估了视觉-语言-动作（VLA）驾驶模型在推理忠实性方面的表现，分析了 Alpamayo-R1-10B 在 100 个场景中的 300 次推理。结果显示，模型输出的自然语言推理与轨迹存在显著不忠实：整体推理忠实度仅 42.5%，Chain-of-Causation 匹配场景现实不到一半；在三分之一的行人相关场景中遗漏了 94 个行人；轻微视觉扰动导致 97.7% 的轨迹脆弱；推理-动作一致性仅 48.3%，其中 53.3% 的推理一致性低，37.9% 声称停止但模型继续前进。研究从信息论角度形式化了忠实性，定义了实体和动作忠实性验证标准，并提出了四组件安全架构。
论文VLA自动驾驶推理忠实性安全Chain-of-Causation
推荐理由：VLA 驾驶模型的推理不忠实问题直接关系到自动驾驶安全，做自动驾驶或具身智能的开发者值得关注——你的模型可能声称停车但实际在开。
原文
5月14日
11:23
11:23IT之家（博客/媒体）
小米发布并开源了 Xiaomi OneVL，一个一步式潜空间语言视觉推理框架。雷军称，该模型在业内率先通过潜空间推理将 VLA（视觉语言动作模型）和世界模型统一到同一框架中。在推理和规划等主流基准上，Xiaomi OneVL 全面刷新了潜在推理方法的性能上限。该模型在精度上超越显式 CoT，速度上对齐“仅答案”预测的潜空间 CoT 方案。小米已将模型权重和训练、推理代码全面开源，邀请全球开发者探索自动驾驶大模型的可能性。
AI模型自动驾驶Xiaomi OneVLVLA世界模型潜空间推理
推荐理由：小米把 VLA 和世界模型统一到一套框架，解决了自动驾驶多模型协同的痛点，做自动驾驶或具身智能的开发者可以直接用开源代码试试，性能还刷新了基准。
原文
5月13日
17:17