12:48AI Will@FinanceYF582°a16z的Simon Mo和Matt Bornstein指出,开源权重模型在生态中不可或缺。他们认为闭源API过于昂贵,且开发者需要掌控基础设施和模型本身。对于语音代理公司,自控模型能确保按需响应,而依赖闭源API可能随时宕机。控制权在近几年变得重要,成本则是近几个月才突出。行业a16z开源权重模型闭源API推荐理由:a16z两位投资人聊开源权重:闭源API又贵又不可控,语音代理公司尤其需要自控模型。原文稍后读已读值得跟进有用关注 a16z
03:47官方账号Clement Delangue@ClementDelangue精选Hugging Face CEO Clement Delangue在推特上回应关于模型基准测试的争议,指出闭源API可以通过回退(fallback)机制提升分数,例如Fable 5模型回退到Opus 4.8可能获得更高总分,即使Opus 4.8平均分更低。他以AA基准中的GPQA Diamond和AA-Omniscience为例,说明模型对不同查询的表现不一致,导致回退策略可能掩盖真实能力。Delangue强调,只有API提供商知道实际路由策略,这使得基准测试缺乏透明度。行业Clement DelangueHugging Facebenchmark推荐理由:揭露闭源API的基准测试猫腻原文稍后读已读值得跟进有用关注 Clement Delangue
22:25官方账号Clement Delangue@ClementDelangueHuggingFace CEO Clement Delangue 在 X 上发帖,指出当前 AI 评测存在结构性缺陷:它们倾向于让闭源 API 受益,因为这些 API 可以在后台进行路由、回退、集成和优化,而缺乏透明度。他以 @ArtificialAnlys 的评测为例,质疑将一个模型与两个模型进行比较是否公平。该帖引发广泛讨论,反映了开源社区对评测标准公正性的担忧。行业AI评测闭源API开源社区推荐理由:AI 评测的公平性直接影响模型选择和技术方向,做模型选型或评测的开发者值得关注这个争议,看完会重新审视排行榜的参考价值。原文稍后读已读值得跟进有用关注 AI评测