训练优化相关 AI 资讯 · AI 热点

8月5日

10:51

10:51

AI Engineer@aiDotEngineer

AI Engineer World's Fair 2026 的 Posttraining & Midtraining Track 已在 YouTube 开播。专场围绕“模型能做什么之外，训练优化让它做了什么”这一问题展开。讲者阵容包括 TypeSafe AI 的 SeanZCai、Hugging Face 的 raymondmfeng、Prime Intellect 的 _potatodonkey_、MiniMax 与 Together AI 的 Ali Khial。直播链接为 youtube.com/watch?v=ZFxh7s。

行业 AI Engineer World's Fair Hugging Face MiniMax

推荐理由：AI Engineer 大会的后训练专场正在直播，讲训练怎么决定模型行为，TypeSafe、Hugging Face、MiniMax 都有人讲。

01:32

01:32

官方账号Cursor@cursor_ai

精选

Cursor 宣布其 MoK 方案已投入训练任务，覆盖数万张 GPU。相比此前基于 DeepEP 的技术栈，端到端训练吞吐提升至 1.41 倍。MoK 已在生产环境验证，用于 Cursor 的大规模训练基础设施。

AI模型 MoK Cursor DeepEP

推荐理由：Cursor 说 MoK 已在数万 GPU 上跑生产，比旧 DeepEP 栈端到端快 1.41 倍，搞大规模训练的可以看。

8月4日

11:32

11:32

官方账号arXiv cs.AI@Chuyan Chen, Peng Sun, Kun Yuan

CMuon是一种针对Diffusion Transformer（DiT）训练的新优化器，通过将参数矩阵分块后再做正交化，解决了原版Muon在后期收敛停滞的问题。在ImageNet 256上，用CMuon训练的675M参数DiT仅用200个epoch就达到FID 1.18。相比AdamW，训练速度提升超过2倍。该方法能有效避免融合张量引发的隐式子空间耦合，保持更新方向准确。

论文 CMuon Muon DiT

推荐理由：写了个新优化器CMuon，训练扩散Transformer比AdamW快两倍多，675M模型200轮就跑到FID 1.18，厉害得很。

7月22日

12:10

12:10

Stanford AI Lab@StanfordAILab

精选

斯坦福AI实验室的Tatsunori Hashimoto介绍了Gigatoken，一个超快速的tokenizer。它通过贴近硬件和编写状态机，将tokenization速度提升了数量级。研究者表示再也不需要等待tokenization完成再开始训练。

AI产品 Gigatoken tokenizer 斯坦福AI实验室

推荐理由：Gigatoken解决了tokenization的瓶颈，训练前不用再傻等，速度提升非常明显。

7月11日

03:37

03:37

官方账号LMSYS Org (SGLang)@lmsysorg

精选73°

LMSYS 发布博客，介绍 DeepSeek-V4 Flash RL 在 AMD Instinct MI355X GPU 上使用 Miles 框架完成端到端训练。训练100+步后，log-prob gap 稳定在0.09，AIME-2024 pass@1 从0.39提升至0.49，pass@8 从0.53提升至0.67。采用 FP8 推演加 BF16 演员模型，支持数据类型感知在线权重更新。在 ROCm 上实现了稳定的 TP1/PP4/EP4 布局，无集体通信停顿。混合注意力、mHC 混合和哈希路由 MoE 在 SGLang 和 Megatron 引擎间保持一致。

AI模型 DeepSeek-V4 AMD ROCm

推荐理由：DeepSeek-V4 Flash RL 在 AMD 显卡上跑通了，训练结果还不错，AIME 分数涨了一截。想试试 AMD 平台搞 RL 训练可以看看这篇。

6月29日

13:49

13:49

官方账号Microsoft AI@MicrosoftAI

微软AI在X上发布视频，展示团队成员如何解决机器学习中的难题。视频中研究人员探讨了改进LLM训练效率的新思路。团队还分享了在推理模型优化上的实践。

行业 Microsoft AI 推理模型训练优化

推荐理由：看看微软AI团队怎么解决实际技术难题，了解模型背后的人

6月26日

00:55

00:55

官方一手AWS Machine Learning Blog@Andrea Gallo

精选

本文介绍如何在Amazon SageMaker AI上利用NVIDIA Blackwell架构优化训练配置。包括根据模型大小（1B到64B参数）选择合适精度格式，调整batch size和序列长度以利用Blackwell扩展内存，以及策略性应用激活检查点。通过P6-B200实例启动分布式训练，提供一套实用的训练调优框架。

技巧 Amazon SageMaker AI NVIDIA Blackwell P6-B200实例

推荐理由：AWS发了篇实战教程，教你用NVIDIA Blackwell在SageMaker上调优训练，从选精度到调batch size都讲清了，搞大模型训练的人别错过。

5月14日

09:20

09:20

berryxia@berryxia

70°

Moonshot AI创始人杨植麟发布40分钟视频，详细拆解Kimi K2模型的训练过程，仅花费460万美元。在8模型实时编程大战中，Kimi K2排名第一，超越GPT-5.5和Claude Opus 4.7。视频重点介绍了极致优化、线性注意力、子代理等硬核架构，展示了小团队如何通过聪明架构抹平资源差距。杨植麟本人是Transformer-XL和XLNet共同作者，背景深厚。这段视频对AI代理开发者和2026年大模型赛道入场者极具参考价值。

AI模型 Kimi K2 Moonshot AI 训练优化

推荐理由：杨植麟用460万美元和极致架构打脸烧钱竞赛，做AI代理或准备2026年入场的团队，看完会重新思考资源分配策略——建议存下来周末细看。