#分布式推理

清华团队推出Purlin框架，解耦分布式推理的编排与数据路径，在多种GPU和任务上显著提升性能。

一群朋友的旧电脑拼起来也能跑大模型了，Kafila 论文说比 exo 快 3 倍，还支持跨洲组网，搞分布式推理的可以细看。

Intel推出了在AI PC集群上实现大规模LLM分布式推理的片方法，能让集群共同计算超单台容量的模型，和单机相比效率更高。

这篇论文揭示了分布式推理系统的新安全漏洞：只用网络流量攻击就能让自动驾驶跟踪精度暴跌18.7 HOTA点。搞推理部署的人一定要看看。

这篇论文把MoE模型卸到边缘设备上跑，靠专家相似性分组减少跨服务器通信，实测延迟和流量都降了，质量只掉一点。

分布式推理是当前大模型落地的关键瓶颈，NVIDIA 联合云服务商推出规模化方案，做 AI 部署和 MLOps 的团队值得关注，尤其是需要处理高并发推理的企业。

官方账号NVIDIA AI@NVIDIAAI10 个信源在谈原文

MoE推理的通信瓶颈终于有了任务感知的解法——做多任务MoE部署的团队可以直接参考TACG的静态分组+GESR动态复制策略，实测通信成本降三成，公平性几乎无损。