11:04arXiv cs.LG@Apratim Bhattacharyya, Shweta Mahajan, Sanjay Haresh, Rajeev Yasarla, Reza Pourreza, Litian Liu, Risheek Garrepalli, Roland Memisevic精选研究人员提出了 Ego-MC-Bench 基准测试,用于评估视频大语言模型在实时任务指导中主动干预纠错的能力。该基准聚焦于烹饪场景,要求模型在用户犯错时及时介入。实验表明,当前最先进的视频 LLM 在此任务上表现不佳,主要原因是缺乏包含错误和适时干预的训练数据。为此,团队还创建了 Ego-CoMist 合成数据集,通过将非交互式烹饪视频转化为带干预的监督示例。微调该数据集后,小型高效视频 LLM 的性能显著提升,适合部署在边缘设备上提供实时辅助。论文视频大模型实时干预烹饪场景基准测试合成数据推荐理由:这项研究直击视频 AI 助手的核心痛点——实时纠错能力,做智能烹饪指导或边缘 AI 应用的开发者值得关注,Ego-CoMist 数据集可以直接用于微调模型。原文