Chinese contentOpenAI发布GPT-6.1 Sol Ultrafast,速度提升8倍
OpenAI新模型速度提升8倍,Anthropic推出实时仪表板,StepFun大模型上线,都是开发者关心的实用更新。
OpenAI新模型速度提升8倍,Anthropic推出实时仪表板,StepFun大模型上线,都是开发者关心的实用更新。
阿里放了个大招,Qwen3.8-Max有2.4万亿参数,号称仅次于Fable 5,但没给具体跑分,价格只要十分之一,值得关注。
想在家跑AI大模型?这篇对比了RTX 5090和AMD迷你PC,解释了为什么统一内存能装大模型但速度慢,还教你用MoE模型提速。
本地跑MoE大模型终于能追上云端的服务质量了——做本地部署的开发者可以直接参考这套CPU-GPU混合方案,不用再忍受降级模型和低吞吐。
MoE推理的通信瓶颈终于有了任务感知的解法——做多任务MoE部署的团队可以直接参考TACG的静态分组+GESR动态复制策略,实测通信成本降三成,公平性几乎无损。
ReMoE解决了内存受限设备上MoE模型推理的I/O瓶颈,做边缘部署或大模型推理优化的开发者可以直接试,开源代码让复现门槛很低。
做大规模MoE模型训练的团队终于有了可靠的超参数迁移方案——不用为每个专家配置重新调参,直接复用密集模型的超参数即可,建议做预训练优化的点开看看。