Procedurally

general · First seen 2026-05-25 · Last seen 2026-09-29 · 7 mentions

Overview

Procedurally(程序化生成)指通过算法和规则自动生成内容或任务,而非人工逐一定义的做法。这一概念原本常见于游戏地图、纹理与关卡的自动创建,近一年因大模型评测与多模态训练的需要,重新成为 AI 社区关注的焦点:用程序化方式批量构造任务,正在成为检验和提升模型真实能力的新路径。

Procedurally 生成的评测任务成为大模型新试验场

  • Karpathy去了 Anthropic 以后,第一次发长帖:Karpathy 提出摆脱“骑着自行车的鹈鹕”这类陈旧测试方式,给 Opus 5 大约 100 万个 Token 的预算,让模型在开放条件下完成任务。这种思路本质上就是用程序化构造的复杂任务,替代固定题目,观察模型在长程、动态环境中的真实表现。
  • AJ 这 3D 渲染测试确实比鹈鹕骑自行车靠谱多了:宝玉评价这类测试更能反映模型的实际能力,因为任务由程序生成、难以靠记忆或数据污染“背答案”。
  • PGT: Procedurally Generated Tasks for improving visual grounding in MLLs:学术界同样在跟进,这篇 arXiv 论文提出用程序化生成任务(PGT)来改进多模态大模型的视觉定位能力,说明该方法已从评测延伸到训练数据构造。
  • 当前焦点与观察点

    程序化生成之所以受重视,核心在于它能规避基准测试的数据污染问题:任务由算法实时构造,参数可调、可无限扩展,模型无法通过“刷题”获得虚高分数。从 lmarena 上的体素艺术仿真提示实验,到“从零打造《战地》风格游戏”这类实践,社区正在验证模型能否在程序化生成的开放环境中持续稳定输出。

    目前的争议点在于评测的公平性与可复现性:程序化任务虽然新鲜,但难度分布、评分标准尚未形成共识,不同生成器之间的结果难以横向比较。观察点包括:PGT 一类方法能否成为多模态训练的常规数据来源,以及主要实验室是否会将程序化生成任务纳入官方评测体系。对开发者而言,这类方法的工程成本(任务生成器的设计与维护)也是落地前需要权衡的现实问题。

    Coverage

    8 on file