#LLM推理

一篇挺有意思的论文：同样的模型和提示，BF16 和 FP16 居然输出不一样，作者还给出了低于 4% 延迟开销的修复方法。

这个方法挺有意思，用进化框架自动发现元路径，让 LLM 能更高效地处理传播结构，解决信息过载问题，对假新闻检测很有帮助。

MIT团队推出Deposon散射层，为LLM推理路径提供可审计记录，在陷阱检测上表现优异。

VPP解决了长上下文LLM推理中流水线气泡问题，在保持短序列性能的同时显著提升长序列吞吐。

Parason揭示了LLM推理中的并行性，通过实验证明其能显著加速推理过程，值得研究。

用少量梯度找方向，再用ES在子空间里搜，省资源还比GRPO-LoRA高1个点，有代码。

小红书开源了一个长上下文LLM推理框架，用注意力头分类和分段缓存把预填充算力省掉一半多，精度基本没损失，适合超长文本场景。

Geek@geekbb原文

Etched把注意力写进芯片里，2年搞定，LLM推理成本要降10倍了。

官方账号Tri Dao (FlashAttention)@tri_dao4 个信源在谈原文

这篇论文提出一种课程强化学习，能帮LLM突破自己的推理能力边界，在多个模型上效果显著，值得关注。

FlexNPU 解决了LLM推理中prefill和decode阶段资源冲突的痛点，做模型部署和推理优化的团队可以直接参考其动态调度思路，尤其适合使用华为Ascend NPU的开发者。

做LLM隐私保护的团队终于有了一个无需改模型、不牺牲太多效用的实用方案——批量推理还能省成本，做API服务的开发者值得关注。

如果你在做LLM推理或搜索增强的AI系统，这篇论文指出了隐式搜索历史的瓶颈，并提供了一个简单有效的改进方向——显式父指针。做推理模型或规划算法的开发者值得一看。

数据中心GPU能耗是AI部署的隐形杀手，PALS把功耗从硬约束变成可调参数，做LLM服务部署的团队可以直接在vLLM上集成，省电又保性能，值得一试。

长上下文推理的注意力瓶颈终于有了轻量级解法——无训练、可更新、内存高效，做 LLM 推理优化或长文档应用的团队值得关注。

做MARL研究的团队终于有了一个利用LLM推理能力来设计通信协议的实用方案，LMAC直接解决了部分可观测性下的信息瓶颈问题，值得在实验环境中试试。

XFP解决了LLM量化中手动调参和校准数据依赖的痛点，做模型部署和推理优化的团队可以直接用上自动化的高质量量化方案，省去大量调参时间。