AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP

训练优化

共 4 条相关 AI 资讯
7月11日
03:37
03:37官方账号LMSYS Org (SGLang)@lmsysorg
精选73°
LMSYS 发布博客,介绍 DeepSeek-V4 Flash RL 在 AMD Instinct MI355X GPU 上使用 Miles 框架完成端到端训练。训练100+步后,log-prob gap 稳定在0.09,AIME-2024 pass@1 从0.39提升至0.49,pass@8 从0.53提升至0.67。采用 FP8 推演加 BF16 演员模型,支持数据类型感知在线权重更新。在 ROCm 上实现了稳定的 TP1/PP4/EP4 布局,无集体通信停顿。混合注意力、mHC 混合和哈希路由 MoE 在 SGLang 和 Megatron 引擎间保持一致。
AI模型DeepSeek-V4AMDROCmMiles训练优化

推荐理由:DeepSeek-V4 Flash RL 在 AMD 显卡上跑通了,训练结果还不错,AIME 分数涨了一截。想试试 AMD 平台搞 RL 训练可以看看这篇。
原文
6月29日
13:49
13:49官方账号Microsoft AI@MicrosoftAI
微软AI在X上发布视频,展示团队成员如何解决机器学习中的难题。视频中研究人员探讨了改进LLM训练效率的新思路。团队还分享了在推理模型优化上的实践。
行业Microsoft AI推理模型训练优化

推荐理由:看看微软AI团队怎么解决实际技术难题,了解模型背后的人
原文
6月26日
00:55
00:55官方一手AWS Machine Learning Blog@Andrea Gallo
精选
本文介绍如何在Amazon SageMaker AI上利用NVIDIA Blackwell架构优化训练配置。包括根据模型大小(1B到64B参数)选择合适精度格式,调整batch size和序列长度以利用Blackwell扩展内存,以及策略性应用激活检查点。通过P6-B200实例启动分布式训练,提供一套实用的训练调优框架。
技巧Amazon SageMaker AINVIDIA BlackwellP6-B200实例训练优化编程助手

推荐理由:AWS发了篇实战教程,教你用NVIDIA Blackwell在SageMaker上调优训练,从选精度到调batch size都讲清了,搞大模型训练的人别错过。
原文
5月14日
09:20
09:20berryxia@berryxia
70°
Moonshot AI创始人杨植麟发布40分钟视频,详细拆解Kimi K2模型的训练过程,仅花费460万美元。在8模型实时编程大战中,Kimi K2排名第一,超越GPT-5.5和Claude Opus 4.7。视频重点介绍了极致优化、线性注意力、子代理等硬核架构,展示了小团队如何通过聪明架构抹平资源差距。杨植麟本人是Transformer-XL和XLNet共同作者,背景深厚。这段视频对AI代理开发者和2026年大模型赛道入场者极具参考价值。
AI模型Kimi K2Moonshot AI训练优化AI代理小团队逆袭

推荐理由:杨植麟用460万美元和极致架构打脸烧钱竞赛,做AI代理或准备2026年入场的团队,看完会重新思考资源分配策略——建议存下来周末细看。
原文
精选全部日报登录