Event ·Single source

研究:测试时算力分配靠先验信息驱动,难度优先策略在难题上失效

一项研究测试了 LLM 在固定重复尝试预算下的算力分配问题,覆盖公开数学、代码和形式化证明样本。最佳的难度成比例分配规则在模型大多能解的基准上可拿到一半以上的 oracle 收益,但在困难任务集上最多只有 13%。对 221 篇 LLM 算力分配论文的严格综述发现,至少 13 篇采用“越难给越多”的策略,其设置恰好处于该策略近似最优的预算区间,代价在更难的任务上显现。用相关模型在同一批输入上的历史运行作为先验,配合验证器的 Thompson Sampling 把最难任务集的解题比例从 14% 提升到 27%;没有这种先验时,测试的所有策略都不如 round-robin。策略收益在先验秩相关性约 0.3 到 0.55 之间消失,且要求验证器的误接受率相对通过率足够低;在新的 Qwen2.5 样本上该模式依然成立。

Current read

这篇论文把“难题多给几次尝试”这个常识拆穿了:真正起作用的是你知不知道哪些题能解。用相关模型历史跑出来的先验加 Thompson Sampling,最难的题从 14% 解到 27%,做推理调度的人值得看。

2 sources37° AI heatLast updated 2026/11/4 11:32:30

Evidence

2 sources

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.