AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：移动端部署×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月8日
22:52
6月6日
08:26
08:26rohanpaul_ai@rohanpaul_ai
精选72°
Google 发布了 Gemma 4 的 QAT（量化感知训练）检查点，将最小模型从 11.4GB 压缩至 1.1GB，纯文本版本仅 0.84GB。与传统的 PTQ（训练后量化）不同，QAT 在训练过程中模拟压缩，让模型学会在权重被压缩时保持推理质量。Google 还构建了针对移动端的格式，包括静态激活、通道级量化、目标 2 位量化和 KV 缓存优化，减少手机计算负担，延长长对话的内存使用。这使得 Gemma 4 更容易在手机和笔记本上运行，降低了部署门槛。
AI模型Gemma 4量化移动端部署QAT模型压缩
推荐理由：QAT 解决了模型压缩后推理质量下降的痛点，做移动端 AI 部署的开发者可以直接用这些检查点，在手机上跑大模型不再吃内存。
原文
01:51
01:51Google AI Developers@googleaidevs
72°
Google 发布了 Gemma 4 的量化感知训练（QAT）检查点，支持在消费级 GPU 和移动设备上本地运行模型，且质量损失极小。新特性包括 GGUF Q4_0 格式检查点，针对所有尺寸和 drafter 模型优化了本地性能；以及自定义移动端混合精度模式，将 Gemma 4 压缩至 1GB 以下，采用 2-bit 解码层、优化 KV 缓存和静态激活。通过在训练时模拟压缩而非事后量化，大幅降低内存占用并加速解码，同时保持推理质量。这为开发者提供了在边缘设备上部署强大 AI 模型的新选择。
AI模型Gemma 4QAT量化感知训练本地推理移动端部署
推荐理由：做本地 AI 部署或移动端推理的开发者，终于有了官方 QAT 方案——Gemma 4 压缩到 1GB 以下还能保持推理质量，建议直接下载检查点试试。
原文
5月27日
10:30
10:30arXiv cs.AI@Yanbei Chen, Hanxian Huang, Ernie Chang, Jacob Szwejbka, Digant Desai, Zechun Liu, Vikas Chandra, Raghuraman Krishnamoorthi
精选76°
MobileMoE 是一系列专为移动设备设计的混合专家（MoE）语言模型，活跃参数在0.3B到0.9B之间，总参数1.3B到5.3B。研究团队首次提出了面向设备端的MoE缩放定律，在内存和计算约束下优化架构，找到了中等稀疏度与细粒度共享专家的最佳平衡点。模型采用四阶段训练流程（预训练、中训练、指令微调、量化感知训练），全部基于开源数据集。在14个基准测试中，MobileMoE以2-4倍更少的推理FLOPs匹配或超越领先的密集模型，并以最多60%更少的参数超越SOTA MoE模型OLMoE-1B-7B。在商用智能手机上，MobileMoE-S在INT4权重内存下比密集基线MobileLLM-Pro实现1.8-3.8倍更快的预填充和2.2-3.4倍更快的解码。
论文MoE移动端部署缩放定律量化训练MobileMoE
推荐理由：MobileMoE解决了移动端大模型部署的算力与内存瓶颈，做端侧AI应用或手机端推理的开发者可以直接参考其架构和训练方案，实测性能提升显著。
原文