11:40arXiv cs.AI@Alexandra Neagu, Jeffrey T. H. Wong, Marcus Messer, Rhodri Nelson, Peter B. Johnson该论文引入了一个评估管道,包含两个指标——聊天机器人脚手架和学生吸收率,并在9个数据集(共9490个对话)上应用,涵盖AI导师基准测试和现实部署。分析发现,基准测试假设高脚手架、高学生吸收率环境,但现实中的学生整体吸收率较低,经常绕过聊天机器人的教学框架。论文认为,绕过脚手架不一定有害,反而常突显了聊天机器人的教学框架与学生目标之间的不匹配。未来基准测试应评估聊天机器人如何导航多样化的学习情境和学生驱动的交互模式。论文LLM辅导员脚手架学生吸收率基准测试教育AI推荐理由:这篇论文用9490个对话数据证明,AI辅导系统在测试中的表现和实际使用差很多,学生根本不吃那套引导。做教育AI的值得看看。原文
12:31arXiv cs.AI@Mingjia Li, Jin Wu, Hong Qian, Wenhao Huang, Yiyang Huang, Yiwen Zhang, Chanjin Zheng, Xiangfeng Wang, Aimin Zhou, Jiajun Guo精选IntElicit 是一个用于评估情境化创造力的框架,它通过对话策略优化来减少认知能力和参与意愿等非创造性因素的干扰。该框架作为自适应 AI 面试官,在多轮交互中提供非指导性知识和参与支持,同时保留参与者生成创造性内容的责任。它引入分解过程奖励机制,避免奖励作弊,鼓励引导参与者推理而非直接给出答案。实验表明,IntElicit 能比专家设计的基线方法更好地激发创造性成果,揭示静态评估可能遗漏的创造潜力。这为 AI 辅助学习中的情境化创造力评估提供了形成性和诊断性视角。论文创造力评估对话策略优化AI面试官情境化评估教育AI推荐理由:做创造力评估或 AI 教育对话系统的研究者值得关注——IntElicit 解决了静态测试无法捕捉真实创造力的痛点,用对话策略优化让评估更贴近实际场景。原文
12:03arXiv cs.AI@Tahreem Yasir, Wenbo Li, Sam Gilson, Sutapa Dey Tithi, Xiaoyi Tian, Tiffany Barnes精选一项新研究评估了七个大型语言模型(LLM)在命题逻辑辅导中的诊断精度,使用知识图谱生成的10,836个解决方案-反馈对作为基准。结果显示,LLM在识别最优步骤上接近完美,但系统性地过度拒绝有效但次优的推理,并过度验证错误的解决方案——这正是自适应辅导最需要精准反馈的地方。这些失败在所有模型中一致出现,表明是架构限制而非信息不足。此外,准确诊断并不总能转化为可操作的反馈,揭示了诊断判断与教学效果之间的差距。研究建议,LLM更适合混合架构,由知识图谱模型负责诊断,LLM负责开放式引导和对话。论文LLM智能辅导系统教育AI知识图谱诊断精度推荐理由:做AI教育或智能辅导系统的开发者会发现,LLM在关键教学诊断上存在系统性盲区——它擅长确认正确,却搞不定“部分正确”和“错误”的微妙区分,这直接影响辅导质量。建议点开看看混合架构方案,或许能帮你避开部署中的坑。原文