Hallucination in World Models is Predictable and Preventable

精选理由

这篇论文用具体数据和实验证明世界模型的幻觉本质是数据覆盖问题,还给出了实用的检测和缓解方法。

AI 摘要

该论文发现世界模型的幻觉集中在状态-动作空间的低覆盖区域,并提出轻量级数据驱动信号可检测和缓解。研究者发布了MMBench2数据集(427小时、210个任务),并训练了350M参数的世界模型。他们识别了三种幻觉模式(感知、动作边缘化、场景发散),开发了三个预测信号。覆盖率感知采样和基于好奇心的在线数据收集方法使得仅需50条真实轨迹即可微调模型适应全新环境。

AI 翻译 · 中文

该论文发现世界模型的幻觉集中在状态-动作空间的低覆盖区域,并提出轻量级数据驱动信号可检测和缓解。研究者发布了MMBench2数据集(427小时、210个任务),并训练了350M参数的世界模型。他们识别了三种幻觉模式(感知、动作边缘化、场景发散),开发了三个预测信号。覆盖率感知采样和基于好奇心的在线数据收集方法使得仅需50条真实轨迹即可微调模型适应全新环境。

arXiv cs.LGModern generative world models render increasingly realistic action-controllable futures, yet they frequently hallucinate: rollouts remain visually fluent while drifting from the ground-truth dynamics. We hypothesize tha
  • @OpenAIDevs06-23 19:15原文
  • IT之家06-25 00:32原文
  • OpenAI: 官网动态06-25 02:00原文