Procedurally(程序化生成)指通过算法和规则自动生成内容或任务,而非人工逐一定义的做法。这一概念原本常见于游戏地图、纹理与关卡的自动创建,近一年因大模型评测与多模态训练的需要,重新成为 AI 社区关注的焦点:用程序化方式批量构造任务,正在成为检验和提升模型真实能力的新路径。
Procedurally 生成的评测任务成为大模型新试验场
当前焦点与观察点
程序化生成之所以受重视,核心在于它能规避基准测试的数据污染问题:任务由算法实时构造,参数可调、可无限扩展,模型无法通过“刷题”获得虚高分数。从 lmarena 上的体素艺术仿真提示实验,到“从零打造《战地》风格游戏”这类实践,社区正在验证模型能否在程序化生成的开放环境中持续稳定输出。
目前的争议点在于评测的公平性与可复现性:程序化任务虽然新鲜,但难度分布、评分标准尚未形成共识,不同生成器之间的结果难以横向比较。观察点包括:PGT 一类方法能否成为多模态训练的常规数据来源,以及主要实验室是否会将程序化生成任务纳入官方评测体系。对开发者而言,这类方法的工程成本(任务生成器的设计与维护)也是落地前需要权衡的现实问题。