Miles 相关 AI 资讯 · AI 热点

7月11日

03:37

03:37

官方账号LMSYS Org (SGLang)@lmsysorg

精选73°

LMSYS 发布博客，介绍 DeepSeek-V4 Flash RL 在 AMD Instinct MI355X GPU 上使用 Miles 框架完成端到端训练。训练100+步后，log-prob gap 稳定在0.09，AIME-2024 pass@1 从0.39提升至0.49，pass@8 从0.53提升至0.67。采用 FP8 推演加 BF16 演员模型，支持数据类型感知在线权重更新。在 ROCm 上实现了稳定的 TP1/PP4/EP4 布局，无集体通信停顿。混合注意力、mHC 混合和哈希路由 MoE 在 SGLang 和 Megatron 引擎间保持一致。

AI模型 DeepSeek-V4 AMD ROCm Miles 训练优化

推荐理由：DeepSeek-V4 Flash RL 在 AMD 显卡上跑通了，训练结果还不错，AIME 分数涨了一截。想试试 AMD 平台搞 RL 训练可以看看这篇。

6月12日

12:02

12:02

官方账号LMSYS Org (SGLang)@lmsysorg

精选

LMSYS 在博客中介绍了 Token-In-Token-Out (TITO) 技术，用于解决强化学习中推理与训练 token 不一致导致的策略偏移问题。TITO 通过确保训练器使用推理引擎产生的精确 token，使每个 token 保持在策略上，从而提升训练效率。该技术将每个任务视为一个样本而非每个回合，在 30-50 回合的轨迹上可节省约 10 倍计算量。Miles 框架通过推理会话服务器、追加式 token 缓冲区、可插拔 TITO tokenizer 和 TokenSeqComparator 等组件实现 TITO。该技术已支持 Qwen3、GLM、Kimi-K2、Nemotron、Minimax 和 DeepSeek 等模型系列。

论文强化学习 TITO Miles token 对齐开源/仓库

推荐理由：做 RL 训练或大模型推理的团队终于有了解决策略偏移的实用方案——TITO 让每个 token 都对齐，计算量还能省 10 倍，搞 Agent 训练的开发者值得点开看看。