自动评分相关 AI 资讯 · AI 热点

7月3日

11:26

11:26

官方账号arXiv cs.AI@Manuel Alonso-Carracedo, Ruben Fernandez-Boullon, Pedro Celard, Francisco J. Rodriguez-Martinez, Lorena Otero-Cerdeira

该研究评估了GPT、Claude Opus、Gemini和GLM四个大语言模型在短Linux/bash命令回答评分中的表现。采用四级认知分类（L1信息检索至L4高级系统管理），在1200个真实学生回答上与三位专家评分对比。Gemini 3.0 Pro配合rubric引导提示达到最高一致性（ICC(3,1)=0.888，MAE=0.10）。一致性随认知层级上升而下降，提示质量比模型选择影响更大。该框架可确定哪些问题适合AI辅助评分。

论文 LLM Gemini Claude Opus 自动评分认知分类

推荐理由：想用AI批改Linux命令作业？试试Gemini 3.0 Pro加评分rubric，人机一致性高达0.888。

6月19日

10:14

10:14

官方账号arXiv cs.AI@Luyang Fang, Yingchuan Zhang, Jongchan Park, Zhaoji Wang, Ping Ma, Xiaoming Zhai

研究提出基于Vision Transformer（ViT）的自信度感知评分框架，用于自动评估学生绘制的科学模型。在6个NGSS对齐的中学评估项目上，该方法通过从测试时预测分布中提取响应级自信度，实现高置信度响应自动评分，低置信度响应转人工审核。相比传统方法，该框架在保持评分可靠性的同时，支持自动覆盖率和评分风险之间的实用权衡。

论文 Vision Transformer 自信度感知自动评分教育评估 NGSS

推荐理由：这篇论文教你用ViT给学生的科学画图自动打分，还能判断哪些该机器批、哪些该人看，很适合做教育评估的参考。