#distributed inference

12 stories · 0 in 7 days · 2 in 30 days

Apple Silicon 1 DNN 1 exo 1 GPipe 1 GPU 1 Intel AI PC 1 Kafila 1 Llama 3.1 1

Stories, products and papers tagged "distributed inference", newest first.

Nov 3

Chinese contentSTLT：面向 LEO 卫星与地面站协同推理的能耗感知切分系统

卫星上跑神经网络怎么省电？这篇论文把 DNN 切一半放地面算，实测推理量多 20%、能耗还降 8.8%，做边缘推理的可以看看切分思路。

#STLT #distributed inference #edge computing #DNN

arXiv cs.AI@Andrija Stanisic et al. (4)Source

Oct 16

How-to BuildersOfficial01:15

Chinese content用 MLX 与 RDMA 在多台 Mac Studio 上跑分布式大模型推理

Apple 教你用几台 Mac Studio 加 RDMA 组成本地推理集群，跑单机放不下的大模型，教程可以直接照着做。

#MLX #Mac Studio #RDMA #distributed inference

Primary sourceApple ML ResearchSource

Oct 13

Papers BuildersOfficial06:50

Chinese contentApple 发布 Minions：用闲置 Apple Silicon 设备组成分布式虚拟 GPU 云

Apple 把散落在各台 Mac 里闲置的 GPU 攒成一张虚拟大显卡跑推理，思路挺新，做 ML 的可以看看这篇论文。

#Apple Silicon #Minions #distributed inference #machine learning

Primary sourceApple ML ResearchSource

Sep 30

Papers Builders09:41

Chinese contentPurlin: 解耦分布式推理的编排与数据路径

清华团队推出Purlin框架，解耦分布式推理的编排与数据路径，在多种GPU和任务上显著提升性能。

#Purlin #distributed inference #GPU #LLM

arXiv cs.AI@Osayamen Jonathan Aimuyo et al. (3)Source

Sep 29

Papers Builders15:19

Chinese contentKafila：让一组互相信任的异构个人电脑协作运行大语言模型

一群朋友的旧电脑拼起来也能跑大模型了，Kafila 论文说比 exo 快 3 倍，还支持跨洲组网，搞分布式推理的可以细看。

#Kafila #exo #GPipe #distributed inference

arXiv cs.LG@Murtaza Rangwala et al. (3)Source

Aug 20

Chinese contentIntel AI PC集群推出大规模LLM分布式推理管道分片方案

Intel推出了在AI PC集群上实现大规模LLM分布式推理的片方法，能让集群共同计算超单台容量的模型，和单机相比效率更高。

#Llama 3.1 #Intel AI PC #large language models #distributed inference

arXiv cs.AI@Tate Berenbaum, Muthaiah VenkatachalamSource

Jul 28

Chinese content分布式推理流水线中的网络驱动精度崩溃

这篇论文揭示了分布式推理系统的新安全漏洞：只用网络流量攻击就能让自动驾驶跟踪精度暴跌18.7 HOTA点。搞推理部署的人一定要看看。

#distributed inference #AI safety #HOTA #multi-object tracking

arXiv cs.AI@Jhonatan Tavori et al. (4)Source

Jul 22

How-to BuildersOfficial00:37

Chinese content用NVIDIA srt-slurm验证分布式LLM服务基准测试

想搞分布式LLM基准测试？NVIDIA这个srt-slurm框架让你用YAML写配置，一键跑SLURM，还能做参数扫描和Pareto分析，超实用。

#NVIDIA #srt-slurm #SLURM #distributed inference

Primary sourcemarktechpost@Sana HassanSource

Jul 21

Chinese contentOrderMoE：基于专家相似性的分布式边缘MoE推理

这篇论文把MoE模型卸到边缘设备上跑，靠专家相似性分组减少跨服务器通信，实测延迟和流量都降了，质量只掉一点。

#OrderMoE #MoE #edge computing #distributed inference

arXiv cs.LG@Xin Yuan et al. (7)Source

Jul 9

IndustryMulti-sourceSelected02:07

Chinese contentCognition披露生产级RL训练基础设施：跨三大洲四数据中心

Cognition分享了他们怎么跨三大洲四个数据中心做RL训练，用紧耦合trainer加分布式异步推理，还靠压缩权重差异同步，做到稳定rollout。做大规模RL的值得看看。

#Cognition #SWE-1.7 #Fireworks AI #distributed inference

Fireworks AI@FireworksAI_HQSource

Jun 11

ProductsMulti-source20:45

Chinese contentNVIDIA Dynamo 联合 Gcore 和 Orange 实现大规模分布式 AI 推理

分布式推理是当前大模型落地的关键瓶颈，NVIDIA 联合云服务商推出规模化方案，做 AI 部署和 MLOps 的团队值得关注，尤其是需要处理高并发推理的企业。

#NVIDIA Dynamo #distributed inference #Gcore #Orange Business

Official accountNVIDIA AI@NVIDIAAISource

Jun 2

Chinese contentTACG：任务感知分组降低多任务MoE推理通信成本31%

MoE推理的通信瓶颈终于有了任务感知的解法——做多任务MoE部署的团队可以直接参考TACG的静态分组+GESR动态复制策略，实测通信成本降三成，公平性几乎无损。

#MoE models #distributed inference #load balancing

arXiv cs.AI@Zhiyao Xu et al. (6)Source