Primary sourcerohanpaul_ai
View sourceEvent ·Multi-source
Y Combinator 创业公司 Synthetic Sciences 发布 FrontierML 基准,5 个前沿模型无一达标
Synthetic Sciences 是一家 Y Combinator 孵化的创业公司,其推出的 FrontierML 基准包含 25 个机器学习研究问题,实测的 5 个前沿 AI 模型没有任何一个在任何问题上达到强结果门槛。该基准的核心设计是把评估目标隐藏起来,Agent 拿不到自己将被打分的标准,必须自行设计测试并判断这些测试的可信程度。 每个任务以固定流程运行:Agent 在 Lab0 环境中获得一个开放式 ML 问题和 12 小时时限,先自行设计进度代理指标,再在真实 H100 GPU 上跑实验并校准该代理指标的可靠性,最后提交模型或方法,由 FrontierML 在 held-out 评估集上打分。 Synthetic Sciences 认为第三步——校准代理指标的可信度——正是实证研究的主要发生地,而评分很大程度取决于此。这实质上是检验 AI Agent 能否在完全看不到分数的情况下独立完成机器学习研究。
Current read
25 个 ML 研究题,5 个前沿模型全挂,因为评分目标被藏起来,Agent 只能自己造测试、自己判断测试靠不靠谱,还给 12 小时和真 H100 随便跑。做 Agent 评测或搞 ML 研究自动化的团队应该看看它的任务闭环怎么设计的。
5 sources51° AI heatLast updated 2026/11/19 05:34:36
Evidence
5 sourcesRelated source 1AI Will
View sourceRelated source 2IT之家
View sourceRelated source 3e27
View sourceRelated source 4Y Combinator
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.