Qwen3.8-2.4T-A95B在Amazon SageMaker HyperPod部署
阿里开源的Qwen3.8-2.4T-A95B模型现在能在AWS SageMaker HyperPod上部署了，教程详细说明了集群配置和量化方法。
#模型部署
共 34 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「模型部署」标签的资讯、产品与论文，按刊登时间排，新的在上。
9月10日
8月14日
8月12日
8月7日
7月25日
产品05:06
Ollama 因 GLM-5.2 需求激增暂停 Max 新订阅，Pro 仍可用Ollama 说 GLM-5.2 太火了，怕服务慢，先暂停 Max 新订阅。Pro 还能买，下周还有大模型上线，想用的话赶紧。
NVIDIA ModelExpress将DeepSeek-V4 Pro启动时间降至2分钟内
NVIDIA把大模型冷启动快了4倍，DeepSeek-V4 Pro启动只要2分钟，靠ModelExpress和RDMA，推理和训练都能提速。
7月10日
在Amazon SageMaker AI上用Unsloth部署量化模型的四种模式
想用Unsloth量化模型上AWS？这篇教你四种部署方式，从直接跑EC2到托管SageMaker，还能用K8s跑，生产技巧也全。
7月8日
7月7日
7月4日
行业12:14
Cohere 将模型直接部署到客户本地，数据不出境更安全Cohere 这招反常规，直接把模型塞到你服务器上，数据不用出你家门，隐私安全拉满了。和 OpenAI 那些把你数据拿去训练的玩法完全不一样。
7月2日
7月1日
6月30日
6月26日
GLM 5.2与hf-claude为Ornith-1.0-9B构建Gradio应用
有人用GLM 5.2和hf-claude给Ornith-1.0-9B做了个Gradio界面，直接就能上手试，省了写前端代码的功夫。
6月18日
Strands Agents与LeRobot：从Hugging Face Hub到机器人硬件部署
想把你训练好的机器人模型直接跑上真实硬件？Hugging Face联合Amazon推出了Strands Agents，连接LeRobot，一键部署，省掉底层驱动烦恼。
6月12日
产品20:47
oMLX 支持标准 HF 缓存目录，本地 AI 部署更便捷对于在 Apple Silicon 上跑本地模型的开发者，oMLX 支持 HF 缓存目录意味着省去模型重复下载和路径配置的麻烦，建议直接更新体验。
6月6日
6月4日
Gemma 3 发布：兼容主流推理框架，权重已开放下载
Google 终于把 Gemma 3 的兼容性做全了——主流推理框架全覆盖，做本地部署或模型微调的开发者可以直接去 Hugging Face 下载权重，省去适配烦恼。
6月3日
产品08:36
Fireworks AI 登陆 Microsoft Foundry，亮相 MSBuildAI 应用开发者终于可以在 Microsoft Foundry 上直接使用 Fireworks AI 的推理服务，部署效率会大幅提升，做企业级 AI 应用的建议去 MSBuild 展位看看。
6月1日
5月31日
Arcee.ai Trinity 模型迁移至 OpenMDW-1.1
Arcee.ai 的 Trinity 模型迁移至 OpenMDW-1.1，意味着开发者可以更便捷地部署和运行该模型，做模型部署和推理优化的团队值得关注。
5月30日
5月29日
论文13:06
ConMoE：无需微调的MoE压缩框架，通过原型重分配保留专家池MoE模型部署内存瓶颈的团队终于有了无需微调的压缩方案——ConMoE通过原型重分配直接减少专家数量，做模型推理优化的开发者可以试试这个即插即用的方法。
5月28日
Trajectory 推出持续学习平台，获 1500 万美元融资
Trajectory 解决了 AI 产品部署后无法从用户反馈中持续学习的痛点，做 AI 产品落地的团队可以直接关注这个平台，看看如何利用用户纠错来提升模型能力。
5月25日
5月22日
产品16:34
阿里云PAI-EAS部署DeepSeek V4-Flash性价比对比做AI模型部署的团队终于有了明确的性价比参考——阿里云用真实数据告诉你DeepSeek V4-Flash怎么部署最省钱，建议做成本优化的点开看看。
产品10:54
Qwen3.7-Max 上线 Novita AI，阿里云联手打造智能体时代模型Qwen3.7-Max 专为智能体时代优化，做自动化或智能体开发的团队可以直接在 Novita AI 上体验，值得一试。
5月16日
产品19:32
Ollama 为 GLM-5.1 模型大幅增加 NVIDIA Blackwell GPUOllama 为 GLM-5.1 加 GPU 意味着推理速度更快、并发更高，做 AI 应用开发或依赖云端大模型的团队值得关注，可以直接用命令体验。
5月15日
行业07:09
Together AI 七篇论文入选 MLSys 2026做 AI 基础设施和模型部署的团队值得关注——Together AI 这七篇论文覆盖了从研究到落地的关键环节，能帮你了解当前 AI 系统优化的前沿方向。
5月14日
Cohere 在 vLLM 集成 W4A8 推理：速度提升达 58%
Cohere 的 W4A8 方案解决了大模型推理中内存与速度的权衡问题，做模型部署和推理优化的团队可以直接在 vLLM 中体验，值得关注。