16:05Decoder@Jonathan Kemper精选72°一项新研究解释了为什么大型语言模型能掌握小型模型无法学会的罕见技能。研究发现,小型模型在处理罕见任务时,频繁出现的任务会不断覆盖它们已学到的知识。研究使用了从400万到40亿参数不等的模型,详细展示了这一机制,并提出了一个实用解决方案:与其扩大模型规模,不如增加目标任务在训练数据中的出现频率。这一发现为优化模型训练提供了新思路。论文语言模型模型规模训练数据技能学习研究推荐理由:这项研究为AI开发者揭示了模型规模与技能学习之间的关键机制,做模型训练或数据配比的团队可以直接参考其提出的数据频率优化方案,值得关注。原文
23:12IT之家(博客/媒体)北卡罗来纳大学教堂山分校和美国东北大学的研究人员发现,主流AI模型在分析职业体育比赛时表现很差。他们创建了名为SVI-bench的新基准测试,包含35000小时比赛画面等数据,测试AI在感知、推理、模拟和自主行动能力。AI在基础感知任务中识别准确率约74%,但在因果推理环节成功率仅约40%,模拟球员下一步动作接近随机猜测,自主分析准确率只有5%。研究人员指出,AI擅长描述画面,但无法解释原因或预测未来,这意味着体育主播等需要深度理解的工作暂时不会被取代。论文AI模型体育分析基准测试推理能力研究推荐理由:这项研究揭示了AI在复杂场景推理上的真实短板,做体育内容或依赖AI分析的团队可以借此评估工具边界,值得点开看看AI到底哪里不行。原文