AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：认知整合×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月19日
14:54
14:54arXiv cs.LG@Rohit Patel, Alexandre Rezende, Steven McClain
精选72°
GIM（Grounded Integration Measure）是一个包含 820 道原创问题的新基准，旨在通过要求模型协调多种认知操作（如约束满足、状态跟踪、认知警觉、受众校准）来评估 LLM，而非单纯增加知识难度或抽象推理。该基准使用公共-私有问题拆分以检测数据污染，并基于超过 20 万次模型响应校准了 IRT 模型，提供更稳健的能力估计。研究对 22 个模型和 47 种测试配置进行了全面评估，发现思考预算和量化等家族内配置选择与模型选择同等重要。GIM 解决了现有基准在记忆与能力、推理与实践脱节上的问题，为 LLM 评估提供了新视角。
论文LLM 评估基准测试认知整合IRT 模型推理能力
推荐理由：GIM 用多认知域整合任务戳穿了现有基准的饱和困境，做 LLM 评估的团队可以直接用它来检测模型真实推理能力，比 GPQA 和 ARC-AGI 更贴近实际应用场景。
原文