13:05ARC Prize@arcprize精选ARC Prize 团队提前获得了 Anthropic 的 Fable 5 模型访问权限,但由于 Anthropic 针对 Mythos 类模型的新数据保留条款,他们无法运行已验证的半私有 ARC-AGI-1/2/3 评估。团队正在与 Anthropic 协商,以确保 ARC 验证数据的隐私性。评估分数将在安全运行条件满足后公布。这一事件凸显了 AI 模型评估中数据隐私与模型访问权限之间的冲突。行业AnthropicFable 5ARC-AGI数据隐私模型评估10 个信源在谈推荐理由:AI 评估社区和关注模型安全的研究者值得关注——数据条款正在影响基准测试的独立性,这直接关系到模型能力的可信度。原文
19:10rohanpaul_ai@rohanpaul_ai精选72°伊利诺伊大学和清华大学等实验室的研究发现,LLM智能体在持续重写自身记忆时,记忆会变得不可靠。许多智能体系统通过让LLM将混乱经验压缩成整洁教训来存储过往工作,但论文表明反复重写会逐渐损害记忆。原始经验(实际尝试和解决方案)往往比精炼后的教训更有用。在网页购物、模拟世界、应用使用和ARC-AGI谜题等任务中测试,GPT-5.4在无记忆时解决100%的ARC-AGI任务,但用正确解决方案构建记忆后,流式更新导致准确率降至约54%。失败源于错误分组、过度泛化和过拟合,记忆丢失细节、混淆任务类型或学习到仅适用于狭窄示例的规则。论文建议智能体记忆不应自动将每次经验重写为摘要,保留原始证据并仅偶尔制作摘要效果更好。论文LLM智能体记忆机制可靠性ARC-AGI经验压缩推荐理由:做AI智能体开发的团队会立刻警觉——你精心设计的记忆系统可能在悄悄退化。这篇论文用实验数据戳破了「自动总结记忆」的幻觉,建议所有用LLM做长期任务的开发者点开看看,别让记忆成为瓶颈。原文