#communication efficiency
3 stories · 0 in 7 days · 0 in 30 days
Stories, products and papers tagged "communication efficiency", newest first.
Jun 16
Jun 10
Chinese contentGASLoC:统一本地通信与本地更新的LLM预训练新算法
GASLoC解决了分布式LLM训练中通信效率与异构带宽的痛点,做大规模模型预训练的团队可以直接参考实验对比,看看能否替代现有方案。
May 14
Chinese contentKVServe:服务感知的KV缓存压缩,提升分离式LLM服务通信效率
KV 通信已成为分离式 LLM 服务的瓶颈,KVServe 用自适应压缩解决了静态策略的次优问题。做 LLM 推理系统优化或部署大规模服务的团队,这个框架值得关注,可以直接集成到 vLLM 中试用。