#推理效率

只用600道题微调，不训练停止机制，就让Qwen、Gemma这些模型推理时少生成25%的token，思路挺有意思。

OYS方法用贝叶斯优化调整扩散模型采样，5步就能达到50步的质量，速度提升10倍，还不需额外训练。

OpenAI 让 GPT-5.6 Sol 自己优化自己，运行成本降了20%，生成速度也快了15%，挺牛的。

官方账号OpenAI@OpenAI11 个信源在谈原文

这篇论文的PUMA框架能实时诊断大模型推理时是有效思考还是绕圈子，在1.5B到32B模型上准确率更高且更省计算，推荐给关心推理效率的朋友。

SpaceXAI 的 Grok 4.5 用 1.5T 参数就挑战了 2.8T 的 Kimi K3，成本还低 3 倍，看看参数效率和成本怎么平衡的。

AI Will@FinanceYF5原文

Gavin Baker说Kimi K3可能改变AI格局，开源模型会让推理更便宜，对大部分公司利好。

elvis@omarsar011 个信源在谈原文

Fork-Think让LLM推理更省钱省时间——先找准关键点再思考，token少用30%，速度快57%，效果还不输并行方法。

这篇论文的TOPS方法能在剪掉近八成视觉token的同时保持甚至提升模型性能，很实用。

百度新出的 Unlimted OCR 用了一种叫 R-SWA 的注意力机制，让它处理几十页文档时不会变慢，内存占用也恒定。想做长文档 OCR 的可以试试。

看看 Together AI 怎么用 MiniMax M3 把开放模型做大，跑几十亿 tokens 还省钱。不是吹概念，是实打实的缓存和吞吐量优化。

官方账号Together AI@togethercompute3 个信源在谈原文

这篇论文提出KVEraser，能快速从大模型KV缓存中擦除指定内容，不用全部重算，1K-32K长度下延迟只增24%，效果接近重算，适合长上下文场景。

该研究为推理效率优化提供了新思路，动态预算分配结合强化学习，可能在不牺牲质量的前提下显著降低计算成本。对部署大规模语言模型的企业和研究者有重要参考价值。

该研究为RAG系统提供了一种确定性、无质量折损的优化方法，直接减少了推理计算成本，对实际部署具有明确指导意义。

该方法为推理模型部署中的计算效率问题提供了自适应解决方案，对于实际应用中降低推理成本和延迟具有重要价值，特别是在数学推理等需要长链推理的场景。