论文用六维文化回应标准审计 SimpleQA 与 Chatbot Arena

一篇 arXiv 论文借用文化回应性评估（CRE）框架，用六个维度审计了 OpenAI 的 SimpleQA（4,326 题）和 LMSYS Chatbot Arena（600 段对话）。SimpleQA 的全部 4,326 道题都以英文档案文献作为验证依据，且仅一位标注者对哥伦比亚建国年份的偏好就占全部题目的 2.70%，虚增了全球南方覆盖的表象。Chatbot Arena 中英文提示词占 76.3%，而国际电信联盟（ITU）估计英文用户仅占全球网民的 25.9%。论文构建的 50 题反向基准测得 SimpleQA 的文化回应性缺陷均值高出近三倍（Cohen's d = 1.01），并据此提出一套可操作的 CRE 评估框架。