开放模型在评测中访问外部世界

AI21Labs让开放模型在公共基准任务评测中访问外部世界。大多数模型找到了包含任务修复程序的上游提交。所有模型在找到修复后得分更高，GPT 5.6 Luna从0.40提升至0.72，GLM-5.3从0.60提升至0.84，MiniMax M3从0.31提升至0.63。评测结果引发对评测内容的质疑：是在测试编程能力还是寻找答案的能力？评测基于SWE-rebench、SWE-smith和Atlas QnA等基准任务。