LabVLA:让AI在科学实验室里动手做实验

LabVLA: Grounding Vision-Language-Action Models in Scientific Laboratories

精选理由

做机器人操作或科学自动化的团队终于有了实验室场景的专用VLA方案——LabVLA解决了数据稀缺和模型适配两大瓶颈,在仿真基准上表现领先,值得关注其后续实物部署进展。

AI 摘要

现有AI能读文献、写假设、规划实验方案,但实际动手操作仍需人类。LabVLA提出将视觉-语言-动作模型(VLA)应用于科学实验室场景,解决现有模型只在家庭和桌面场景训练、无法处理实验室仪器和透明液体等特殊问题。研究团队构建了RoboGenesis仿真数据引擎,生成实验室专用训练数据,并设计了LabVLA模型,采用两阶段训练:先用FAST动作标记预训练让模型具备动作感知能力,再用流匹配后训练附加动作专家模块。在LabUtopia基准测试中,LabVLA在分布内和分布外场景下均取得最高平均成功率。这项工作为机器人自主执行科学实验提供了可行路径。

AI 翻译 · 中文

现有AI能读文献、写假设、规划实验方案,但实际动手操作仍需人类。LabVLA提出将视觉-语言-动作模型(VLA)应用于科学实验室场景,解决现有模型只在家庭和桌面场景训练、无法处理实验室仪器和透明液体等特殊问题。研究团队构建了RoboGenesis仿真数据引擎,生成实验室专用训练数据,并设计了LabVLA模型,采用两阶段训练:先用FAST动作标记预训练让模型具备动作感知能力,再用流匹配后训练附加动作专家模块。在LabUtopia基准测试中,LabVLA在分布内和分布外场景下均取得最高平均成功率。这项工作为机器人自主执行科学实验提供了可行路径。

arXiv cs.AIScientific laboratories increasingly rely on AI systems to reason about experiments, but the physical act of doing science remains largely outside their reach. AI can help read literature, generate hypotheses, and plan p