metaculus

product · First seen 2026-05-22 · Last seen 2026-10-24 · 4 mentions

Overview

Metaculus 是一个成立于 2015 年的众包预测平台,用户在其上对科技、政治、经济等各类问题做出概率预测,其中关于 AGI(通用人工智能)何时到来的长期赌约最受关注,其社区中位预测常被媒体和研究者当作行业情绪的参考指标。

Metaculus 上的 AGI 赌约与近期进展

  • Astra 与 Claude Opus 5 攻克 Atari 游戏 Montezuma's Revenge,Metaculus 复刻 AGI 赌约判定测试 —— Atari 游戏《Montezuma's Revenge》因需要长程规划与稀疏奖励探索,长期被视为强化学习的标志性难关。有模型宣称攻克该游戏后,讨论者参照 Metaculus 上以具体能力里程碑定义的 AGI 赌约条款进行了对照判定。这类事件的意义在于:Metaculus 的问题设计把模糊的"AGI 何时实现"拆解成可验证的技术标准,使预测可以被实际进展检验。
  • @metaculus —— 以对 AI 预测持批评立场的 Gary Marcus 为代表的一部分研究者多次引用或质疑 Metaculus 的预测质量,争论焦点集中在社区预测是否过度跟随媒体报道、专家与普通预测者的权重如何平衡。
  • 芝加哥大学论文:模型自述的关键决策因素与实际不符 —— 该研究显示语言模型对自身推理关键因素的自述与实际行为不符。这为 Metaculus 社区试图用"模型自评通过某些测试"作为 AGI 判定依据的做法敲了警钟:若模型不能可靠报告自身状态,判定条款需要依赖外部可验证的行为证据。
  • 当前焦点与观察点

    围绕 Metaculus 的讨论目前集中在三点:其一,AGI 预测的判定条款是否足够严谨——早期定义偏宽松的赌约可能因单个里程碑(如攻克某款游戏)被提前触发,引发"算不算数"的争议;其二,平台是否存在系统性乐观偏差,社区中位预测多次提前,批评者据此质疑众包预测在长周期问题上的校准能力;其三,作为参考指标的定位——研究者和媒体引用其数据时应意识到这是群体主观概率的聚合,而非客观测量。

    对普通读者而言,Metaculus 的价值不在给出确定答案,而在于提供了一个持续更新、可追溯的预测记录,方便观察行业预期随技术进展的实际变化。

    Coverage

    3 on file