精选理由
想用AI批改Linux命令作业？试试Gemini 3.0 Pro加评分rubric，人机一致性高达0.888。
该研究评估了GPT、Claude Opus、Gemini和GLM四个大语言模型在短Linux/bash命令回答评分中的表现。采用四级认知分类（L1信息检索至L4高级系统管理），在1200个真实学生回答上与三位专家评分对比。Gemini 3.0 Pro配合rubric引导提示达到最高一致性（ICC(3,1)=0.888，MAE=0.10）。一致性随认知层级上升而下降，提示质量比模型选择影响更大。该框架可确定哪些问题适合AI辅助评分。
AI 翻译 · 中文
该研究评估了GPT、Claude Opus、Gemini和GLM四个大语言模型在短Linux/bash命令回答评分中的表现。采用四级认知分类（L1信息检索至L4高级系统管理），在1200个真实学生回答上与三位专家评分对比。Gemini 3.0 Pro配合rubric引导提示达到最高一致性（ICC(3,1)=0.888，MAE=0.10）。一致性随认知层级上升而下降，提示质量比模型选择影响更大。该框架可确定哪些问题适合AI辅助评分。
Scalable and reliable grading of command-line examinations remains a challenge in computing education, where rising enrolments make manual marking difficult and rule-based autograders cannot handle partial credit, equiva…
- 小互07-01 07:21原文