评估LLM生成评分标准的干预转移方法

研究人员提出了一种名为干预转移(IT)的新方法，用于评估AI评分标准的生成质量。该方法基于一个核心观点：当回答被扰动以通过/失败某个评分标准时，如果两个评分标准表现出一致性，则它们是相似的。研究团队在HealthBench基准测试中应用了这一方法，分析了Qwen3.8-27B、Deepseek-V4-Flash和Opus-5生成的评分标准对GPT-5.6-Terra回答的评估效果。