10:01
官方账号arXiv cs.AI@Han Jiang, Sunbeom Kwon, Jinwen Luo, Ziang Xiao, Susu Zhang
推荐理由：这篇论文用大量模拟数据告诉你，当前AI基准里的IRT方法可能不可靠，尤其模型少项目多时，别盲目信排名。
IRT
共 1 条相关 AI 资讯
7月17日
10:01
该论文分析了使用项目反应理论（IRT）评估AI模型时面临的数据分布不匹配问题。研究基于六个LLM基准（如MMLU、HellaSwag等）的模拟数据，比较了四种估计方法（MML、MCMC、VI、神经伪孪生估计器），在18000种条件下评估其计算可行性和推断可靠性。结果表明，经典估计器在大基准中不可行，而可扩展估计器在小或非正态分布的模型集上会产生不可靠的排名和项目参数推断。研究提出了使用IRT所需的最小样本量和诊断方法。