AI基准未测项：模态、搜索、引用及安全评估启示

一篇arXiv论文审计了ChatGPT聊天界面与OpenAI API两种访问模态在有无网页搜索下的表现，样本含401个提示、共4812次响应。结果显示，关闭搜索时聊天界面在两个基准上的准确率均低于API；启用搜索使准确率下降最多8个百分点，甚至逆转了一个基准的模态趋势。同一提示重复三次，最多21%的提示出现不一致响应。作者认为安全评估应系统纳入模态、多次运行一致性、搜索条件和引用行为等因素。