evaluation

AI评估正从能力测试转向安全与偏见的深层考量。近期进展之一是针对生物威胁的风险评估：OpenAI评估GPT-4在生物威胁创造中的风险，开发了早期预警系统。同时，公平性成为焦点：评估ChatGPT的公平性表现提出新的评价方法。多模型联合评估也出现：OpenAI与Anthropic联合安全评估结果。此外，为应对幻觉问题，OpenAI分析了语言模型幻觉原因。诡计行为检测方面，检测并减少AI模型诡计行为引入新技术。政治偏见评估提出新方法定义评估LLM政治偏见。文化理解评估通过IndQA基准关注印度语言。评估标准更新体现于停止评估SWE-bench Verified，转向Pro版。系统卡发布如o3-mini系统卡提供透明度。经济价值评估出现GDPval，衡量AI真实贡献。当前焦点在于评估维度多元化，未来应关注如何平衡能力、安全与公平，并建立跨模型标准化评估框架。