04:27
LMSYS Org (SGLang)@lmsysorg
LMSYS Org (SGLang)@lmsysorg精选73°
推荐理由：LMSYS 和 InclusionAI 联手，用 SGLang-JAX 让 1T 参数 MoE 在 TPU 上跑得快 53%，技术细节都在博客里。
精选
过去 24 小时，从 661 条中筛出 45 条
6月18日
04:27
LMSYS 发表博客详解如何用 SGLang-JAX 在 TPU v7x 上优化 Ling-2.6-1T（1T 参数混合 MoE 模型）。通过 Fused MoE V2 内核将令牌和累加器留在 VMEM 中并双缓冲专家权重，MoE 预填充延迟降低 53%。混合内存池为 10 个全注意力层分配逐令牌 MLA KV，为 70 个 GLA 层分配逐请求循环状态。GLA 线性注意力采用分块并行预填充，单控制器 DP 保持分组 RMS Norm 芯片本地化，无需逐层跨芯片规约。
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
6月1日
00:09
AITOP6月1日 00:09
5月19日
10:45
10:45IT之家（博客/媒体）
精选72°
推荐理由：谷歌终于把TPU推向外部市场，做AI训练和推理的团队将多一个算力选择，值得关注这个250亿美元级别的云服务新玩家。
5月14日
13:37
13:37
Jeff Dean@JeffDean
Jeff Dean@JeffDean精选
推荐理由：Jeff Dean 亲自梳理了 Google Translate 从统计方法到神经网络的两次关键跃迁，做 NLP/翻译系统的开发者能从中看到技术选型的真实演进逻辑，值得一读。