OenoBench：葡萄酒领域大模型评测基准

研究团队发布OenoBench，一个包含3266道选择题的葡萄酒领域知识评测基准。该基准基于38104个原子事实构建，涵盖六个支柱和四个难度层级。评估16个前沿模型配置，发现整体准确率在53%-84%之间，o3以83.6%领先。DeepSeek R1在推理模式下提升6.8个百分点，而Claude Opus和Gemini Pro无提升。Anthropic在自身问题上偏好度+9pp，Google则-8pp。开源模型与专有推理模型共享成本-准确率帕累托前沿。所有配置在闭卷可解项目上平均提升33pp。