#负载均衡
共 9 条 · 7 天 0 条 · 30 天 1 条
信息流里打上「负载均衡」标签的资讯、产品与论文,按刊登时间排,新的在上。
10月1日
8月18日
8月14日
论文12:29
TEMPO:跨内存/计算受限场景的专家并行负载均衡如果你在做MoE推理,TEMPO这个调度器在内存/算力瓶颈混合时能比常规方案快15.5%;不过DeepSeek-V3那种通信瓶颈场景它不灵。
7月29日
Anthropic 发布全新 MCP 规范,MCP 服务器可部署到云上
Anthropic 更新了 MCP 协议,去掉了会话绑定,现在 MCP 服务器能上云水平扩展了,serverless 也能跑,做工具链的可以试。
MCP 协议第五大版本发布,改为无状态请求/响应
MCP 终于去掉会话 ID 了,部署起来像普通 HTTP 一样灵活。还有 MRTR 解决中途确认问题,很实用。如果你在生产环境用 MCP,得仔细看迁移指南。
6月27日
改进DeepEP MoE负载均衡:SGLang引入Waterfill和LPLB
SGLang给DeepSeek模型加了两个新负载均衡器,跑DeepSeek V3/R1速度能快最多7%,而且不改精度,想加速推理的可以试试。
6月2日
论文09:41
TACG:任务感知分组降低多任务MoE推理通信成本31%MoE推理的通信瓶颈终于有了任务感知的解法——做多任务MoE部署的团队可以直接参考TACG的静态分组+GESR动态复制策略,实测通信成本降三成,公平性几乎无损。
5月15日
5月13日