10:17
官方一手arXiv: Anthropic@Nikita Khudov
推荐理由：研究人员搞了个叫OenoBench的葡萄酒知识测试题库，用这个题库测了16个大模型，发现o3考得最好，DeepSeek R1在推理题上表现突出，还发现模型对自己出的题有偏好，挺有意思的。
Gemini Pro
共 6 条相关 AI 资讯
8月21日
10:17
研究团队发布OenoBench，一个包含3266道选择题的葡萄酒领域知识评测基准。该基准基于38104个原子事实构建，涵盖六个支柱和四个难度层级。评估16个前沿模型配置，发现整体准确率在53%-84%之间，o3以83.6%领先。DeepSeek R1在推理模式下提升6.8个百分点，而Claude Opus和Gemini Pro无提升。Anthropic在自身问题上偏好度+9pp，Google则-8pp。开源模型与专有推理模型共享成本-准确率帕累托前沿。所有配置在闭卷可解项目上平均提升33pp。
8月19日
22:38
22:38
官方账号LangChain@LangChainAI
官方账号LangChain@LangChainAI推荐理由：和同学说：Google 推出 Gemini Pro 这个版本，多模态方面表现好，和旧版比提升明显，值得看看
7月22日
03:00
03:00
Fireworks AI@FireworksAI_HQ
Fireworks AI@FireworksAI_HQ精选
推荐理由：Heidi自己微调开源模型，质量居然比Gemini Pro还好，速度还快了3.5倍，4周就上线，太强了。
7月1日
02:04
02:04
techcrunch@Rebecca Bellan
techcrunch@Rebecca Bellan76°
推荐理由：Anthropic出了Claude Sonnet 5，便宜又能跑智能体，比GPT-5.5和Opus都划算。
6月16日
11:38
11:38
官方一手arXiv: OpenAI@Marta Vallejo, Siwen Wang
推荐理由：想知道AI能不能像人一样在危险场景下抓住关键区域？这篇论文用GPT-4o、Gemini Pro等模型做了对比，发现它们不靠眼动训练数据就能大致预测人类注视点。
5月27日
17:59
17:59
Philipp Schmid@_philschmid
Philipp Schmid@_philschmid72°
推荐理由：做 SWE 智能体评估或开发 AI 编程助手的团队，这个新基准更贴近真实开发场景，值得关注其设计思路和模型表现差异。