Epi2Diff框架用LRM推理轨迹预测人类试题难度

Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction

精选理由

想用AI推理过程预测题目难度?这篇论文提出了Epi2Diff,从LRM的思考轨迹中提取片段特征,比直接微调模型效果好8%以上,而且可解释。

AI 摘要

论文提出Epi2Diff(Episode to Difficulty)框架,将大型推理模型(LRM)的推理轨迹映射为认知片段序列,通过推理规模、努力分配和状态转换建模难度。在四个真实人类难度数据集上,Epi2Diff优于微调小语言模型、LLM上下文学习和监督LLM适应等基线。在SAT分类基准上,Epi2Diff相比监督LLM微调获得8.1%平均相对增益。分析发现更难的题目导致更费力、迭代、以实施为中心的片段动态,而非仅更长的回答。

AI 翻译 · 中文

论文提出Epi2Diff(Episode to Difficulty)框架,将大型推理模型(LRM)的推理轨迹映射为认知片段序列,通过推理规模、努力分配和状态转换建模难度。在四个真实人类难度数据集上,Epi2Diff优于微调小语言模型、LLM上下文学习和监督LLM适应等基线。在SAT分类基准上,Epi2Diff相比监督LLM微调获得8.1%平均相对增益。分析发现更难的题目导致更费力、迭代、以实施为中心的片段动态,而非仅更长的回答。

arXiv cs.AIPredicting human item difficulty is central to educational assessment, where reliable estimates support fairness and effective test construction. Existing methods often depend on costly human calibration or item-level te