12:08
官方账号arXiv cs.AI@Joshua Fonseca Rivera, Neil Shah, David Demitri Africa, Konstantinos Voudouris
推荐理由：这篇论文用IRT给192个模型的安全基准做心理测量，能把评测成本砍掉97%以上，还能识破模型故意考差或API后门换模型。
项目反应理论
共 2 条相关 AI 资讯
8月6日
12:08
一项研究将项目反应理论（IRT）应用于8个安全基准、192个语言模型，这是迄今最大规模的LLM安全评估心理测量分析。研究发现，拒绝严格度、真实性和情境危害三个可解释因子解释了模型间大部分差异。IRT选出的题目在恢复完整基准分数时误差低于随机子集，约10个自适应题即可替代若干单个基准，评估成本降低97%-99%。IRT还能用于检测模型的朴素沙袋行为和API后端模型更换。
6月8日
09:26
09:26
官方账号arXiv cs.AI@Yang Zhang, Xiao Fei, Amr Mohamed, Sarah Almeida Carneiro, Mersin Konomi, Mingmeng Geng, Ahmed Asaad, Guokan Shang, Michalis Vazirgiannis
推荐理由：这篇论文揭示了多语言AI评估中的一个关键误区——本地语言表现差可能不是知识缺失，而是语言能力瓶颈。做跨文化NLP或本地化模型的团队，看完会重新理解评测指标。