Primary sourcerohanpaul_ai
View sourceEvent ·Multi-source
NVIDIA 论文:把推理轨迹编译成代码,重复问题便宜 16 到 291 倍
NVIDIA 发布论文,发现 LLM 对同一问题的改写版、换数字版仍从头推理,而把已完成的推理轨迹复用为 CPU 代码后,同类问题推理成本可降低 16 倍到 291 倍。 方法上,由 Claude Opus 4.5 将推理过程转化为小型 Python 函数,把可变部分抽象为参数;运行时在 CPU 上执行这些函数,仅在小规模文本处理(如提取数值)时调用一个微调后的 1B 模型。该缓存在 8 个数学与科学基准中有 7 个达到或超过原模型准确率,AIME '25 上拿到 93.3%,高于原模型的 83.3%,并至少处理了 90% 的改写或换数变体。 对开发者来说,这套方案适合同一提示词反复跑新数据的智能体工作流:命中缓存走代码,未命中才调用 LLM,从而把推理开销压到最低。
Current read
NVIDIA 把 Claude Opus 4.5 的推理轨迹转成 Python 函数缓存到 CPU 跑,重复问题便宜 16 到 291 倍,AIME '25 还从 83.3% 提到 93.3%。跑同类提示词的智能体可以直接抄这个架构,省下大量 token 开销。
11 sources69° AI heatLast updated 2026/11/21 16:24:26
Evidence
11 sourcesRelated source 1Jim Fan
View sourceRelated source 2NVIDIA AI
View sourceRelated source 3elvis
View sourceRelated source 4IT之家
View sourceRelated source 5TestingCatalog
View sourceRelated source 6AIGCLINK
View sourceRelated source 7Genk
View sourceRelated source 8marktechpost
View sourceRelated source 9Decoder
View sourceRelated source 10Clement Delangue
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.