Shot

general · First seen 2026-05-22 · Last seen 2026-11-18 · 238 mentions

Overview

Shot 在当前 AI 语境下通常指 one-shot(单次尝试)式生成:模型在没有多轮修改的前提下,仅凭一次指令或一次运行就完成任务并交付结果。它既是对提示词工程能力的极限测试,也正在成为衡量模型工具调用、代码生成质量的新基准——能否一次性跑通,越来越被视为模型真实水平的试金石。

one-shot 生成的近期进展

  • 宝玉在 Felix Rieseberg 用 Fable 5.2 一次性生成浏览器射击游戏,成本约 550 美元 中介绍了 one-shot 开发的典型案例:一次生成即产出可玩的浏览器射击游戏,总成本约 550 美元,展示了大模型在无需人工干预情况下的端到端交付能力。
  • 歸藏在 用 AI 多轮迭代开发动作游戏,作者开源了一个游戏开发 Skill 中呈现了另一条路线:将单次生成与多轮迭代结合,并沉淀为可复用的游戏开发 Skill,说明实践中单次输出往往仍需与迭代流程搭配。
  • Artificial Analysis 在 工具加持下 Claude Haiku 5.5 跑赢无工具的 Fable 5.2 中给出关键对比:接入外部工具的较小模型,单次任务表现可以超过没有工具的更大模型,这直接影响 one-shot 任务中“模型强还是工具强”的判断。
  • 华为论文提出三权分立架构,见 华为论文 EvoTrias:搜索、写码、评分三权分立的代码进化智能体更省更强:通过把搜索、编码、评分拆分给不同角色来提升代码生成效率,为降低单次生成成本提供了结构性思路。
  • 当前焦点与观察点

    围绕 Shot(单次尝试式生成)的讨论核心有两个:一是评测可信度,benchleaking 概念的提出揭示了预训练数据污染问题——据 arXiv 论文:测试题进入预训练数据,ERNIE-5.5-Flash-Base 泄露 96% HumanEval 题目,某模型在 HumanEval 上泄露比例高达 96%,单次通过率可能高估真实能力;二是成本与效果权衡,Felix Rieseberg 案例 约 550 美元的成本说明复杂项目的一次性生成仍不便宜。后续值得观察的是工具增强型小模型在 one-shot 场景中能否持续逼近甚至反超大模型,以及更严格去污染的基准会否改写现有排名。

    Coverage

    10 on file