ModelsMulti-source

小鹏联合北大、港大发布 GroundingPI 具身感知模型,综合得分超 GPT-6 Astra

小鹏联合北大、港大等发布 GroundingPI 预训练模型,感知模块综合跑分超过 GPT-6 Astra

Why we picked it

小鹏带着北大港大做的具身感知模型,40亿参数在34项基准上跑赢 GPT-6 Astra,训练还不用机器人动作数据,代码模型都开源了。

小鹏联合北京大学、香港大学等团队发布具身感知基座模型 GroundingPI,参数规模约 40 亿。该模型采用纯感知数据训练,不使用带动作标签的机器人数据,覆盖通用检测、指代定位、文档版面等 11 类感知能力。在 34 项公开感知基准上,GroundingPI 等权平均得分 73.68,高于 GPT-6 Astra 的 71.54。仿真实验显示,以它为视觉底座的系统仅用 50% 示教数据即超过对比模型使用 75% 数据的成功率,可降低机器人部署中的人工示教成本。项目已开源,提供网站、arXiv 论文、GitHub 代码和 HuggingFace 模型链接。

Original · IT之家

小鹏联合北大、港大等发布 GroundingPI 预训练模型,感知模块综合跑分超过 GPT-6 Astra

IT之家 11 月 4 日消息,小鹏集团联合北京大学、香港大学等高校研究团队联合发布具身感知基座模型的研究成果 GroundingPI。 官方表示,该研究提出“感知优先”的技术路线,以约 40 亿参数规模,在 34 项公开感知基准的综合评测中位列第一,并在机器人仿真任务中展现出更高的数据处理效率与更强的场景泛化能力。 ▲ GroundingPI 在多个场景和能力上展现了基于视觉基元(构成画面的最小积木块)的感知能力 研究团队将 GroundingPI 与 OpenAI 前沿模型 GPT-6 Astra 在同一套 34 项感知基准上进行对比,按照以上这 11 类能力等权平均,GroundingPI 得分 73.68,Astra 得分 71.54。 ▲ 多类感知能力基准比较:紫色为 GroundingPI,蓝色为各能力类别中排名 TOP4 的对照模型,其中包含 GPT-6 Astra 据介绍,GroundingPI 提出具身智能的首要前提是精准感知自身与周边物体的空间位置,感知表征对于物理 AI 至关重要。若模型无法准确定位目标在画面中的位置,学习再多的动作知识也无法有效落地。 基于这一判断,GroundingPI 在训练阶段不使用带关节动作标签的机器人数据,而是全部采用无动作标签的纯感知数据,覆盖通用检测、密集小目标、指代定位、文字识别、文档版面、界面元素、机器人空间定位等 11 类感知能力,目标是让模型首先理解“物体是什么、在画面的哪个位置”。 举个例子,我们要求模型找到“右边那个杯子的把手”,它需要用点或边界框标出杯子和把手的具体位置。回答“图里有杯子”还不够,语言里的目标必须对应到画面中的具体区域。 项目名称亦源于此,Grounding 对应视觉定位这一核心感知能力,PI 为 Physical Intelligence(物理智能)的缩写。 官方表示, 该研究目前处于科研原型阶段,但其实验设计本身已经指明在具身领域的落地方向 ,目前仿真结果已经直面在量化部署中核心的两个问题: 第一, 显著降低示教成本 。机器人每完成一个新任务通常都需要人工采集千百条示教数据,以 GroundingPI 为视觉底座的系统仅用 50% 示教数据即超过对比模型使用 75% 数据的成功率,其机制在于,它直接承担传统 VLA 模型中学习“物体在哪”的这个工作。这意味着实际部署中,同等成功率目标之下所需要的人工示教量能够大幅降低。 第二, 带来更强的场景泛化性 。当前机器人落地的一个痛点是,切换到另一个空间 / 换另一个物体之后,之前已经会做的事情就不会做了。而 GroundingPI 所具备的感知力可以让机器人在应对材质变化、物体品类变化、容器变化、背景变化等不同现场变量时,都能够保持极强的稳定性,不因环境变化而影响执行性能。在仿真环境的散料分拣、料箱清点等高密度场景中,GroundingPI 的系统能够分类抓取同类工件,快速对应物品形态。这也为“一套权重跨工位复用”提供了实验支撑。 IT之家附相关链接: 网站: https://groundingpi.github.io/ 论文: https://arxiv.org/abs/2609.39601 Code: https://github.com/groundingpi/GroundingPI Model: https://huggingface.co/GroundingPI/GroundingPI