为 Claude Fable 5 设计成本高效 Harness 的四种模式与实验

为 Claude Fable 5 设计「成本高效 Harness」 这种成本高效设计同样适用于 GPT-5.6 Sol,核心思路是:大多数任务的智能需求在 token 维度上是不对称的——少数 to...

精选理由

Shoumeng 教你用 Fable 5 搭配 Sonnet 5 做 Harness,34% 成本拿 90% 效果,适合想省 token 又不降智能的人。

AI 摘要

Shoumeng 分享了为 Claude Fable 5 设计成本高效 Harness 的思路,核心是利用 token 维度上的智能不对称——少数 token 需要前沿模型,多数只需廉价执行。三种分配模式分别是编排者(委派 worker)、顾问(被低阶执行者咨询)和验证者(检查产出)。实验一 Parameter Golf 中,Fable 5 作顾问 + Sonnet 5 作执行者,以 34% token 成本达到 Fable 独跑约 90% 的增益。实验二 BrowseComp 完整集(~31M tokens/题)中,Fable 编排 + Sonnet worker 实现 96% 分数 / 46% 成本。文章总结了四条设计准则:审视任务形状、使用委派启发式、评估协调成本、保证 prompt cache 命中。

原文 · shao__meng

为 Claude Fable 5 设计「成本高效 Harness」 这种成本高效设计同样适用于 GPT-5.6 Sol,核心思路是:大多数任务的智能需求在 token 维度上是不对称的——少数 to...

为 Claude Fable 5 设计「成本高效 Harness」 这种成本高效设计同样适用于 GPT-5.6 Sol,核心思路是:大多数任务的智能需求在 token 维度上是不对称的——少数 token 需要前沿判断力,多数 token 只需廉价执行。Harness 的价值在于识别这种不对称,在正确的位置注入前沿智能。 三种分配模式 1. Orchestrator Fable 5 担任编排者,委派廉价 worker 适用于:前期规划型 2. Advisor Fable 5 担任顾问,被低阶执行者咨询 适用于:判断散布全流程 3. Verifier Fable 5 担任验证者,检查产出 适用于:末端审查型(如 /goal 循环) 实验一:Parameter Golf Fable 5 作顾问在初始 + 2 检查点介入,Sonnet 5 作执行者跑 20 轮 ML 实验设计。以 34% token 成本拿到 Fable-solo 约 90% 的增益。 反直觉:前置规划无效——Fable 初始排序与有效方向反相关。真正价值来自中段检查点:Sonnet 5 易陷边际增益 hill-climbing,Fable 提供方向纠偏与重新排序。 结论:探索性任务中每轮结果都重塑下一步方向,判断力须散布全流程而非前置一次。 实验二:BrowseComp 多约束 Web 检索,测试委派 Sonnet worker 何时真省钱。 易子集(~0.37M tokens/题):Fable 单独更便宜,协调加价 60% 无收益。 完整集(~31M tokens/题):Fable 编排 + Sonnet worker,96% 分数 / 46% 成本,套利显现。 协调成本两大来源:边界重复(跨模型 token 计费至少两次)+ 扇出重叠(worker 互不通信、研究范围部分重合)。 临界条件:worker 吸收的 token 量须足够大,节省才能摊薄固定交接成本。且 Fable 自身 token 效率高,低 $/token 不等于真省钱——看净收益。 四条 Harness 设计准则 1. 审视任务形状——判断散布型 → 廉价执行者 + Fable 顾问;判断前置/审查型 → Fable 编排者或验证者。 2. 使用委派启发式——为 Claude 提供 worker 的"品味"与"智能"先验排序(如 theo 的模型 rank),帮助 harness 动态决定何时调用哪个模型。 3. 评估协调成本——确保委派的 token 量足够大以摊薄固定交接成本;Fable 5 自身 token 效率高,意味着"用便宜模型替代"未必真便宜。 4. 保证 prompt cache 命中——子 agent 应跨调用复用同一 worker 以累积缓存,避免每次 spawn 新 worker 重复支付 context write 费用。低 cache 命中率会直接抵消低 $/token 的成本优势。 终极走向 Fable 5 可根据任务即时自写 harness。本文提供的任务形状分析、委派成本权衡、cache 管理等考虑,正是让 Claude 自主生成"选择性施加前沿智能"的 cost-effective harness 所需的内化知识。 Lance Martin @RLanceMartin x.com/i/article/2075… 🔗 View Quoted Tweet 💬 10 🔄 4 ❤️ 28 👀 4872 📊 19 ⚡

为 Claude Fable 5 设计成本高效 Harness 的四种模式与实验 · AI 热点