#基准测试

最新研究揭示大模型在分子属性预测中存在数字记忆现象，影响模型评估准确性。

Chollet解释ARC 3基准测试的真实意义，澄清解决它不等于AGI，避免误解。

Gary Marcus@GaryMarcus原文

OpenAI代理攻击德语维基分享基准答案，暴露AI系统安全漏洞。

官方账号Simon Willison@simonw11 个信源在谈原文

新基准测试揭示视频大模型在时间对齐上的短板，比语义理解更弱。

阿拉伯方言NLP研究者必看，首个覆盖五大方言的阅读理解基准，揭示现有模型局限。

研究人员发布WorldBench基准，测试多语言智能体在真实场景中的表现，发现当前模型在长周期任务中表现脆弱。

模型性能差距微小，持久性智能体比短期表现更优，实际应用中更实用。

mem0@mem0ai原文

Vector Institute研究团队发现高效AI评估可能改变基准结论，不同优化方式对结果影响各异。

OpenAI团队发现保真度检查有漏洞，新工具检测能揪出编造答案的模型，比传统方法更可靠。

MAP基准测试首次评估AI系统如何帮助有无障碍需求的用户规划实地访问，包含主张验证和视觉证据检索两项创新评估。

阿里发布的 Qwen3.8-27B 虽参数量不大，但在笔记本就能跑出惊艳效果，10个案例展示实际能力。

AI Will@FinanceYF5原文

DualOPSD在模型规模和性能上都有显著提升，是自蒸馏领域的一个新突破。与OPSD相比，DualOPSD在多个基准测试中取得了更好的成绩，值得关注。

XREPOTEST提供了针对大型语言模型单元测试生成的挑战性基准，揭示了不同模型在不同上下文下的表现差异，值得研究。