11:26
官方账号arXiv cs.AI@Manuel Alonso-Carracedo, Ruben Fernandez-Boullon, Pedro Celard, Francisco J. Rodriguez-Martinez, Lorena Otero-Cerdeira
推荐理由：想用AI批改Linux命令作业？试试Gemini 3.0 Pro加评分rubric，人机一致性高达0.888。
认知分类
共 1 条相关 AI 资讯
7月3日
11:26
该研究评估了GPT、Claude Opus、Gemini和GLM四个大语言模型在短Linux/bash命令回答评分中的表现。采用四级认知分类（L1信息检索至L4高级系统管理），在1200个真实学生回答上与三位专家评分对比。Gemini 3.0 Pro配合rubric引导提示达到最高一致性（ICC(3,1)=0.888，MAE=0.10）。一致性随认知层级上升而下降，提示质量比模型选择影响更大。该框架可确定哪些问题适合AI辅助评分。