蚂蚁开源触觉基础模型 LingBot-Touch,近5000小时数据训练
蚂蚁开源的这个触觉基础模型有点东西:近5000小时真机触觉数据,磁触觉、视触觉、压阻式三类传感器都能共用一套表征。做机器人灵巧手操作的团队以前换硬件就得重采数据重训模型,现在直接复用,任务成功率还能提升14-26个百分点。
蚂蚁集团开源了触觉基础模型 LingBot-Touch,基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类传感原理,让机器人在视觉之外获得接触和受力反馈。
技术上,模型为不同传感器设置专用编码入口,把不同布局的触点映射到统一的指尖坐标空间,通过共享模型学习接触位置、受力及其随时间的变化,输出统一的触觉Token。这样触觉表征可以从特定硬件中抽象出来,跨传感器、跨灵巧手、跨模型、跨任务复用。
实验显示,平均任务成功率比无触觉基线提高14-26个百分点。过去每换一套灵巧手或增加一种传感器,都需要重新采集触觉数据、重新训练模型,现在可以直接复用学到的触觉表征,这对做精细操作任务的具身智能团队是实打实的成本节约。
蚂蚁刚开源了一个触觉基础模型:LingBot-Touch,让机器人不仅能看得见,还能感知“手感”
这种触觉经验能跨传感器、跨灵巧手、跨模型、跨任务复用
这个方向值得关注,因为机器人在真实世界中做精细操作,光靠视觉是远远不够的,需要指尖的接触和受力反馈
还有一个迁移问题
LingBot-Touch的做法是,把触觉感知从特定硬件中抽象出来,训练成可复用的基础模型能力
基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类传感原理
并给不同传感器设置专用编码入口,再把不同布局的触点映射到统一的指尖坐标空间,通过共享模型学习接触位置、受力及其随时间的变化,最终输出统一的触觉Token
这样,不同传感器采集的数据可以共同参与预训练,不同灵巧手和动作模型也能复用学到的触觉表征
相当于给机器人建立了一套跨硬件的通用触觉表征
实验效果,平均任务成功率比无触觉基线提高了14-26个百分点
过去,不同机器人往往需要分别采集触觉数据、适配传感器、训练模型
现在不用每换一套灵巧手、增加一种传感器,就从头积累触觉数据、重新学习接触感知能力了
#LingBotTouch #具身智能 #机器人
This report is categorized under AITOP's "Models" desk, focusing on China's AI industry and domestic foundation model ecosystem. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include LingBot-Touch, 蚂蚁集团, 触觉感知, 具身智能.
Source attribution: curated from AIGCLINK (@aigclink).