模型压缩相关 AI 资讯

8月5日

11:37

官方账号arXiv cs.AI@Jo-Ku Cheng, Nikolaos Aletras, Marco Valentino

71°

Logic-PPT 用形式推导作为预训练前置任务，为语言模型注入变量绑定、量词关联等结构偏置。在 100B token 规模下，该方法在语言任务上达到 80% 准确率，比标准初始化少用 36B token。相比 Dyck 和程序算法等基线，形式推导带来更持久的表征重组。其表征空间呈现更低秩、谱集中分布，在约 33% 稀疏度剪枝下仍能匹配稠密模型性能。

论文 Logic-PPT 形式推导预训练

推荐理由：用形式推导预训练，能在语言任务上少花36B token达标，剪枝33%还不掉点。做预训练或模型压缩的可以看看。

原文

7月27日

11:55

官方账号arXiv cs.AI@Chao Fang, Jun Yin, Man Shi, Marian Verhelst

HiKV是一种算法-硬件协同设计的KV缓存压缩方法，通过两阶段重要性感知实现高压缩率：第一阶段在固定预算内驱逐不重要的token，第二阶段对每个保留token仅加载显著元素。基于可重构重要性排序器的专用加速器统一两阶段的数据通路，仅增加8%系统面积。在代表性LLM上，HiKV实现高达7.95倍加速和90%能耗降低，精度损失小于1%。在等精度约束下，相比其它重要性方法额外减少1.82~4.87倍外部内存访问。

论文 HiKV KV缓存硬件加速

推荐理由：这篇论文提出HiKV，用两阶段KV缓存压缩加专用硬件，7.95倍加速、90%省电，精度几乎不掉。做长上下文LLM推理加速的可以看看。

原文

7月25日

17:50

Geek@geekbb

开发者成功在售价 8 美元的 ESP32-S3 芯片上运行了接近 2900 万参数的 LLM。核心技巧是将大部分模型参数存储在 Flash 而非 RAM 中，借鉴了 Google Gemma 的 Per-Layer Embeddings 思路。该方法大幅降低了内存占用，使低成本边缘设备也能运行较大模型。项目已开源在 GitHub 上。

技巧 ESP32-S3 LLM Gemma

事件专题

推荐理由：别人用 8 美元的芯片跑大模型，靠的是 Gemma 的分层嵌入技巧。想低成本部署边缘 AI？这个开源项目就是参考答案。

原文

7月20日

01:06

官方账号Hugging Face@huggingface

HuggingFace 将于本周二举办 Local AI 线上活动，邀请 @TheAhmadOsman 和 @MikeBradleyAI 分享硬件搭建与本地推理现场演示，@alexocheema 和 @0xSero 讲解如何为硬件选择模型、模型压缩及 REAPs 方法。活动旨在帮助开发者从零搭建本地 AI 环境，涵盖实用技巧与经验。

技巧 HuggingFace 本地部署推理部署

推荐理由：想自己跑大模型？HuggingFace 这场活动从硬件配到模型压缩全讲，还有现场演示，别错过。

原文

7月16日

00:29

官方账号Decoder@Jonathan Kemper

PrismML将27B参数模型Bonsai 27B压缩至4GB以下，使其能在iPhone上本地运行。在内部基准测试中，最小版本保留原模型90%的性能，数学和编码分数几乎未受影响。Apple据报正在测试该压缩技术，有望推动端侧AI发展。Bonsai 27B是一个完全开源的推理模型。

AI模型 Bonsai 27B PrismML iPhone

推荐理由：PrismML把27B模型压到4GB还能跑在iPhone上，苹果都在试，看看本地AI能有多强。

原文

7月15日

11:48

小互@imxiaohu

PrismML 基于 Qwen3.6-27B 模型，将原本 54GB 的 27B 参数模型压缩至 3.9–5.9GB，使其能在 iPhone 上运行。在 15 项测试中，5.9GB 的 Ternary 版本保留原版 95% 性能，3.9GB 的 1-bit 版本保留 90% 性能。在 RTX 5090 上推理速度达 163 token/s，在苹果 M5 Max 上达 87 token/s。

AI模型 Qwen3.6-27B PrismML iPhone

推荐理由：PrismML 把 27B 大模型压到几 GB 还能在手机上跑，性能几乎没缩水，iPhone 用户也能本地跑大模型了。

原文

10:18

10:18IT之家（博客/媒体）

PrismML 的原生 1-bit 模型压缩技术可将模型体积压缩至全精度的 1/14，内存占用降低超 90%。基于该技术的 Bonsai 27B 模型（基于 Qwen 3.6 27B）从约 54GB 缩减至不足 4GB，可在 12GB 内存的 iPhone 15 及后续机型上原生运行。推理速度提升最高 8 倍，能耗降低 75%-80%，精度在 1-bit 下保留 90% 基准得分。苹果公司正在评估 PrismML 技术，会谈可能涉及授权或收购。

AI模型 PrismML Bonsai 27B 苹果

推荐理由：PrismML 这技术能把 27B 模型塞进 iPhone，内存从 54G 砍到 4G 不到，苹果都在看，手机跑大模型要成真了。

原文

7月14日

12:22

官方账号arXiv cs.LG@Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson

精选

传统参数压缩方法如量化产生码长随模型参数缩放，而prequential coding码长取决于数据熵。本文提出的requential coding使码长独立于参数数和数据熵，通常比prequential短数个数量级。在PAC-Bayes界中，该方法为十亿参数LLM提供了当前最优的泛化保证。实验还发现低熵文本比高熵图像包含更多可学习结构。

论文 Requential Coding 模型压缩 PAC-Bayes

推荐理由：这篇论文提出Requential Coding，码长不跟着模型大小和数据熵跑，比之前的方法短好几个数量级，还给十亿参数大模型给出了最牛的泛化保证。

原文

7月13日

09:13

官方一手arXiv: DeepSeek@Linhui Xiao, Guiping Cao, Mingyue Guo, Xianchao Guan, Fan Yang, Ming Tao, Xin Li, Yuxin Peng, Yaowei Wang

该综述系统梳理了大型模型绿色发展的研究进展，涵盖注意力算子优化、线性复杂度架构、模型稀疏化与合并等效率型模型设计方法，以及数据高效学习、参数高效微调、计算压缩等训练与部署策略。在硬件层面，总结了主流AI芯片、内存优化、跨平台部署与可持续基础设施。还探讨了大型模型在DeepSeek、遥感解译、国家级基础设施等可持续关键领域的应用，并指出持续学习范式、以内存为中心的硬件和标准化评估协议等未来挑战。

论文 DeepSeek 模型压缩绿色AI

推荐理由：想了解怎么让大模型更省资源、更环保？这篇综述从算法优化到硬件设计都讲透了，还提到了DeepSeek等应用案例。

原文

7月10日

11:48

官方账号arXiv cs.LG@David González-Martínez, Shiwei Liu

SLORR是一种无需修改架构、无需SVD的低秩正则化框架，基于Hoyer稀疏度量和核范数两种变体。在ImageNet-1K上对ResNet-50、ViT-B/16和ViT-L/16进行短时继续训练，对ResNet-18进行预训练，SLORR在引入不到8%训练开销的同时提升了可压缩性。在135M和560M参数的LLM预训练中，SLORR-Hoyer使压缩模型性能显著优于未正则化模型，平均训练开销低于1%。

论文 SLORR 低秩正则化模型压缩

推荐理由：想压缩模型又不想掉太多精度？SLORR在训练时加低秩正则化，开销很小，效果很好，值得一试。

原文

07:37

07:37IT之家（博客/媒体）

苹果正与PrismML接洽，评估其原生1-bit模型压缩技术。该技术将Qwen 3.6（27B参数）压缩至全精度1/14体积，内存占用降低超90%，推理速度提升最高8倍，能耗降低75%-80%，已在iPhone 17 Pro上完整运行。PrismML声称精度接近FP16模型，无“高精度逃生通道”。苹果希望借此增强本地AI推理性能。

AI模型 PrismML Qwen 3.6 iPhone 17 Pro

推荐理由：苹果想用这技术让27B的Qwen 3.6在手机上跑，速度比原来快8倍，能耗降75%，还能保持精度，挺牛的。

原文

7月9日

16:52

官方一手marktechpost@Asif Razzaq

73°

NVIDIA发布Nemotron-Labs-3-Puzzle-75B-A9B，这是Nemotron-3-Super的压缩变体。通过Iterative Puzzle方法，总参数从120.7B降至75.3B，活跃参数从12.8B降至9.3B。在单台8xB200节点上，它实现了2.03倍于Super的总吞吐量，每用户100 tok/s。在H100上，1M-token并发从1提升到8。

AI模型 Nemotron NVIDIA MoE

事件专题

推荐理由：NVIDIA把这个MoE模型压到75B，吞吐翻倍，用户延迟不变，适合降本增效。

原文

7月8日

12:17

官方账号arXiv cs.AI@Anna Córdoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesús Olivera

FreqDepthKV是一种推理时KV缓存压缩方法，通过将相邻层的KV状态分解为共享低频深度分量和稀疏高频残差，并利用轻量在线探测根据注意力头对重建的贡献分配缓存模式。在32k token预填窗口下，FreqDepthKV在长上下文问答、检索、摘要和代码生成任务上达到58.3 Exact Match、63.0 F1、32.5 ROUGE-L和48.1 pass@1，接近全KV缓存水平。它还将解码吞吐提升至70.4 tokens/s，首令牌延迟降至2.06秒，峰值KV内存降至6.2 GB，实现3.9倍有效压缩比。

AI模型 FreqDepthKV KV缓存压缩长上下文

推荐理由：FreqDepthKV在长上下文推理中将KV缓存压缩3.9倍，同时保持任务精度，比此前压缩方法更稳定，适合内存受限场景。

原文

02:16

elvis@omarsar0

精选

NVIDIA发布论文，将混合MoE模型Nemotron-3-Super压缩为Puzzle-75B-A9B，活跃参数降至9B。在单个8xB200节点上，交互式服务器吞吐量约为原模型2倍。在H100 GPU上，1M token并发数从1请求提升至8。在推理、编程、长上下文和智能体基准上精度保持。该方法联合优化异构MoE剪枝、活跃参数预算和Mamba剪枝，结合蒸馏、强化学习、量化与多令牌预测头。

AI模型 Puzzle-75B-A9B Nemotron-3-Super MoE

事件专题

推荐理由：英伟达把大MoE模型压到9B活跃参数，吞吐量翻倍，智能体应用部署成本大幅下降，适合模型高效推理场景。

原文

7月3日

11:36

官方账号arXiv cs.AI@Xuehui Wang, Xuankun Yang, Wei Shen

视觉Token剪枝是加速VLM的关键策略，但现有方法在密集指令和细粒度查询下难以保留关键线索。本文提出EADP框架，首先利用统计熵量化并过滤文本噪声，得到细粒度的指令相关性分数；然后通过子模最大化问题与空间先验实现非冗余的Token选择。实验表明EADP在严格Token预算下提高了VLM的精度-效率平衡，在多个多模态基准上达到SoTA性能。

论文 EADP 视觉语言模型 Token剪枝

推荐理由：这篇论文用熵过滤噪声、子模选择保留细节，在VLM加速上效果不错，适合想优化推理效率的人看看。

原文

6月30日

13:46

官方账号arXiv cs.AI@Xinlei Yu, Gen Li, Qingyi Si, Guibin Zhang, Yuqi Xu, Congcong Wang, Shuai Dong, Kaiwen Tuo, Xiangyu Zeng, Kaituo Feng, Qunzhong Wang, Yang Shi, Xiaobin Hu, Xiangyu Yue, Jiaqi Wang, Shuicheng Yan

精选

DOPD是一种advantage-aware的双重蒸馏范式，通过动态路由令牌级监督信号，在特权教师和特权学生策略之间进行分配，缓解了传统同策略蒸馏中的特权幻觉问题。实验在LLM（如GPT-2）和VLM（如CLIP）上验证，结果显示DOPD在稳定性和鲁棒性等指标上持续优于Vanilla OPD。

论文 DOPD LLM VLM

推荐理由：这篇论文提出了一种新蒸馏方法DOPD，通过分令牌监督解决特权幻觉，在LLM和VLM上效果都更好，适合关注模型压缩的研究者。

原文

6月19日

10:12

官方账号arXiv cs.AI@Gia-Binh Nguyen, Trong-Bao Ho, Thien-Loc Ha, Khoa Vo, Philip Lund Møller, Quang T. Nguyen, Long Dinh, Tuan Dam, Vu Duong, Tung M. Luu, Trung Le, Tran Nguyen Le, Minh Vu, An Thai Le, Ngan Le, Daniel Sonntag, James Zou, Jan Peters, Duy M. H. Nguyen, Ngo Anh Vien

VLA模型（如pi_0、GR00T-N1.5）参数规模达数十亿，微调计算成本高。本文通过中心核对齐（Centered Kernel Alignment）识别冗余层，无需训练即可移除最多50%的层。在LIBERO、RoboCasa、SimplerEnv三个模拟基准和10个真实操作任务、4种机器人本体上验证，压缩后模型性能与完整模型相当。微调时间减少40-50%，实时推理速度提升达30%。结果表明VLA模型实际所需层数远少于现有架构。

论文 VLA pi_0 GR00T-N1.5

推荐理由：这篇论文发现VLA模型很多层是冗余的，用他们的方法可以白嫖50%层数，微调快一半，推理快30%，效果不降。搞机器人微调的可以试试。

原文

00:02

Geek@geekbb

精选

Unsloth AI 将最强开源模型 GLM-5.2 从 1.51TB 压缩至 238GB（缩小 84%），2-bit 量化版本保留约 82% 准确率。该模型可在 256GB Mac 或同等 RAM/VRAM 配置上本地运行。官方指南和 GGUF 文件已在 Hugging Face 发布。

AI模型 GLM-5.2 Unsloth 本地运行

推荐理由：Unsloth 把 1.5TB 的 GLM-5.2 压到 238GB，本地就能跑，准确率还能保住 82%。有 256GB 内存的 Mac 就能玩，开源模型天花板。

原文

6月18日

10:57

官方账号arXiv cs.LG@Yaniv Livertovsky, Shahar Somin, Gonen Singer

CAHP将注意力头选择重新定义为全局图论问题，利用图聚类和信息论距离识别互补子集。该方法无需预定义稀疏度，通过检测边际性能下降曲线自动确定每层保留的头数。在SST-5和MNLI基准上，CAHP在不同规模Transformer中均优于梯度方法，尤其在高压缩率下。结构分析表明，CAHP避免了梯度方法的“邻近偏差”，保留了模型中间层的功能关键头。

论文 CAHP Transformer 注意力头剪枝

推荐理由：想压缩Transformer模型？CAHP自动剪掉冗余注意力头，不用调参，在SST-5和MNLI上比梯度方法更强，还保住了中间层的关键结构。

原文

6月17日

11:58

官方账号arXiv cs.LG@Ramprasath Ganesaraja, Sahil Dilip Panse, Swathika N

Mamba-2 1.3B参数模型通过分组量化感知训练（QAT）从FP16教师蒸馏，仅消耗4 GPU小时（单H100）和102M tokens，将内存从2,687 MB压缩至744 MB（3.61倍）。零样本七任务平均准确率达48.1%，接近Bi-Mamba的48.4%（±0.9pp置信区间）。该方法无需从头训练150B tokens，使用预训练检查点即可。研究还发现零比例坍缩现象，即可学习量化尺度导致的不稳定性，这在从头训练中不会出现。后处理校正策略对SSM无效，因循环结构导致误差累积。

论文 Mamba-2 Ternary Mamba 量化感知训练

推荐理由：把Mamba-2压缩到1比特权重不用花大钱从头训练，用预训练模型加少量微调就行，效果只差0.3%。

原文

6月16日

10:54

官方账号arXiv cs.LG@Martin Jaggi

混合专家架构通过每个token激活少量专家来高效扩展大语言模型，但训练和推理时仍需加载全部专家参数。本研究提出Expert Tying方法，在保持独立层路由和注意力的前提下，将相邻Transformer层的专家参数共享。在OLMoE、Qwen3和DeepSeek-style MoE上的预训练实验显示，该方法可将内存占用减少近2倍，且困惑度和下游任务质量几乎不受影响。该方法利用了MoE路径中固有的参数冗余，实现了计算与内存的高效权衡。

论文 Expert Tying MoE OLMoE

推荐理由：这个工作很实在：跨层共享专家参数让MoE模型内存减半，性能不掉，适合做模型压缩和高效训练的朋友看看。

原文

09:50

官方账号arXiv cs.LG@Zongfang Liu, Jinghui Zhang, Zijian Ma, Guangyi Chen, Xin Yuan

该研究提出MoE专家一次性剪枝的统一公式，将现有启发式标准归为路由频率、门控权重、激活强度三类因素。基于此给出选择原则：任务无关剪枝应优先使用基于激活强度、无门控的标准。新提出的MAN和MSAN标准在4个MoE模型、16个基准上取得任务无关设置平均排名前两位。平均性能比最强基线提升最多8.8个百分点。

论文 MoE 专家剪枝语言模型

推荐理由：这篇论文把MoE剪枝的各种评分方法统一了，还提出MAN和MSAN两个新标准，在多个模型和基准上表现更稳定，适合做模型压缩的人参考。

原文

6月13日

13:04

AK@_akhaliq

SpenseGPT提出一种实用的一次性剪枝方法，在LLM推理中同时支持稀疏和密集通用矩阵乘法（GEMM）。该方法无需重新训练，仅通过一次剪枝即可大幅减少模型参数。实验表明，在保持模型精度的前提下，剪枝后模型推理速度提升可达2倍。该技术适用于多种主流LLM架构。

论文 SpenseGPT 剪枝 LLM推理

推荐理由：一次剪枝，推理快两倍

原文

6月12日

10:57

官方账号arXiv cs.LG@Meher Sai Preetam, Meher Bhaskar

本文提出 Simplex-Constrained Sparse Bagging (SCSB)，一种用于后训练压缩和概率校准的数学框架。标准 Bagging 集成（如随机森林、Bagged SVM 等）对所有基估计器赋予均匀投票权重，忽略了它们在不同区域的局部能力差异，导致模型过度自信。SCSB 通过在概率单纯形上最小化袋外损失，将集成剪枝和校准联合优化，并引入凹二次惩罚解决 L1 单纯形悖论（L1 范数在单纯形上为常数，无法直接剪枝）。该方法与模型无关，可实现高达 96% 的集成压缩，带来线性推理加速，同时降低期望校准误差，保持或提升泛化精度。

论文集成学习模型压缩概率校准

推荐理由：做集成学习或模型部署的团队，SCSB 能帮你把随机森林等 Bagging 模型压缩 96% 且校准更好，直接省推理成本。

原文

6月10日

09:20

官方账号arXiv cs.LG@Juan Amboage, Pablo Monteagudo-Lago, Ian Colbert, Giuseppe Franco, Nicholas Fraser

精选

后训练量化（PTQ）通过将权重映射到低位表示来压缩大语言模型，但量化网格的缩放因子通常使用简单的无数据启发式方法选择。本文提出 PiSO（分段尺度优化）算法，利用校准数据在四舍五入量化下精确高效地计算最优通道级权重尺度。PiSO 将尺度搜索空间划分为有限区间，每个区间上目标函数有闭式解。实验表明，在 Llama 和 Qwen 模型上，PiSO 在困惑度和下游零样本准确率上均有一致提升，且位宽越窄收益越明显。

论文后训练量化模型压缩大语言模型

推荐理由：大模型量化部署的团队终于有了一个理论扎实的尺度优化方法——PiSO 在低位宽下效果尤其显著，做模型压缩的开发者可以直接参考论文中的算法实现。

原文

6月6日

08:26

rohanpaul_ai@rohanpaul_ai

精选72°

Google 发布了 Gemma 4 的 QAT（量化感知训练）检查点，将最小模型从 11.4GB 压缩至 1.1GB，纯文本版本仅 0.84GB。与传统的 PTQ（训练后量化）不同，QAT 在训练过程中模拟压缩，让模型学会在权重被压缩时保持推理质量。Google 还构建了针对移动端的格式，包括静态激活、通道级量化、目标 2 位量化和 KV 缓存优化，减少手机计算负担，延长长对话的内存使用。这使得 Gemma 4 更容易在手机和笔记本上运行，降低了部署门槛。

AI模型 Gemma 4 量化移动端部署

事件专题

推荐理由：QAT 解决了模型压缩后推理质量下降的痛点，做移动端 AI 部署的开发者可以直接用这些检查点，在手机上跑大模型不再吃内存。

原文

04:19

Paul Couvert@itsPaulAi

88°

Google 发布了 Gemma 4 QAT 模型，相比前代内存需求降低 3 倍，使得高性能模型能在本地设备上运行。其中 Gemma 4 E4B 模型性能优于 GPT-4o，仅需 2GB RAM 即可在手机上运行。而 Gemma 4 31B 模型（约 Opus 4 级别）现在可以在笔记本电脑上运行。这标志着本地 AI 部署的重大突破，让更多用户无需依赖云端即可使用强大模型。

AI模型 Google Gemma 4 本地 AI

事件专题

推荐理由：本地 AI 爱好者终于等到了——Gemma 4 QAT 让旗舰级模型跑在手机和笔记本上，做边缘计算或隐私敏感应用的开发者可以直接试试。

原文

6月3日

12:49

rohanpaul_ai@rohanpaul_ai

一篇新论文提出Self-Pruned Key-Value Attention方法，让大语言模型在长文本生成时只保留对后续token有用的历史键值对，从而大幅压缩KV缓存。该方法通过一个小型预测器为每个键值对打分，只保留高分项，同时确保最近token始终保留。模型在训练时通过正常的next-token预测学习剪枝策略，无需手工规则。实验表明，模型通常只保留10%到33.7%的旧键值对，性能接近全注意力，解码速度在长上下文场景下提升2.1到4.6倍。

论文 KV缓存长上下文注意力机制

推荐理由：KV缓存是长上下文推理的瓶颈，这篇论文用自学习剪枝解决了内存爆炸问题，做LLM推理优化或长文本应用的开发者可以直接参考其方法。

原文

6月2日

11:59

官方账号arXiv cs.AI@Elia Cunegatti, Marcus Vukojevic, Erik Nielsen, Giovanni Iacca

精选

现有 LLM 后训练压缩方法将整个层替换为轻量模块，但受限于全层粒度和连续选择。SubFit 提出子模块级替换，允许非连续地选择 Attention 和 FeedForward 子模块，并为每个子模块独立学习残差旁路。实验覆盖 10 个 LLM（5 个基础、5 个指令微调）和 5 个稀疏度（12.5%-37.5%），在 25% 稀疏度下，SubFit 保留 84.6% 下游精度（最强基线 81.6%），困惑度仅退化 2.42 倍（基线 4.34 倍）。该方法仅需校准数据，可带来推理加速和 KV 缓存节省。代码已开源。

论文模型压缩 LLM 部署子模块替换

推荐理由：做 LLM 部署优化的团队终于有了更精细的压缩工具——SubFit 在 25% 稀疏度下精度损失比最强基线少一半，且非连续子模块选择更贴合真实冗余分布，建议做模型量化和剪枝的开发者直接试。

原文

5月28日

11:56

官方一手arXiv: DeepSeek@Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho

精选72°

该研究提出了首个系统化框架，将混合专家模型（MoE）转换为标准全稠密架构。通过专家评分、选择、分组并拼接成稠密前馈网络，再通过知识蒸馏从MoE教师模型精炼。在Qwen3-30B-A3B上评估了7种评分、5种分组和2种幅度缩放方法，共350种配置。发现评分方法影响最大，其提出的多样性感知评分在多个模型上优于先前方法。在参数匹配控制下，MoE转稠密比稠密到稠密剪枝平均下游准确率提升6.3个百分点，训练速度快1.6倍。

论文模型压缩知识蒸馏混合专家模型

推荐理由：这个框架解决了MoE模型在内存受限设备上部署的痛点，做模型压缩和边缘部署的团队可以直接参考其方法，比传统剪枝效果更好且训练更快。

原文

5月27日

14:05

14:05IT之家（博客/媒体）

PrismML 发布 Bonsai Image 4B 系列图像生成模型，包含 1-bit 和 Ternary 两个版本，专为本地设备优化。该模型基于 LUX.2 Klein 4B 构建，通过二值/三值权重大幅压缩体积，1-bit 版 Transformer 仅 0.93GB，内存占用降至 1.5GB。在 iPhone 17 Pro Max 上生成 512×512 图像仅需 9.4 秒，Mac M4 Pro 上约 6 秒，速度比全精度模型快 5.6 倍。质量方面，Ternary 版在 1.21GB 体积下保留约 95% 的准确性，1-bit 版在不足 1GB 下保留约 88%。这标志着高质量图像生成模型首次在手机上实现实时可用。

AI模型图像生成模型压缩本地部署

推荐理由：手机端终于能跑正经的图像生成模型了，做移动端 AI 应用或创意工具的开发者可以直接在 iPhone 上体验，9.4 秒出图的速度已经可用。

原文

12:16

官方一手arXiv: DeepSeek@Guanghui Wang, Kaiwen Lv Kacuila, Zhiyong Yang, Zitai Wang, Jin-Wen Wu, Longtao Huang, Qianqian Xu, Qingming Huang

精选72°

这篇论文发现，在 LLM 知识蒸馏中，混合使用教师模型的硬标签（采样 token）和软标签（完整分布）比单独使用任何一种效果更好。作者提出 Bridge-Garden 分解理论，将生成步骤分为“桥”（需精确 token）和“花园”（可灵活选择）两类，硬标签擅长处理桥，软标签擅长处理花园，混合策略能减少训练与推理之间的暴露偏差。基于该理论开发的混合监督方法在 7 组师生模型（含 Qwen、Llama、Gemma、DeepSeek）上优于现有基线，同时将训练成本降低 9.7 倍。代码已开源。

论文知识蒸馏暴露偏差混合标签

推荐理由：做 LLM 蒸馏的团队终于有了理论指导——Bridge-Garden 理论解释了为什么混合标签有效，并且直接给出了可落地的方案，训练成本还降了 9.7 倍，建议做模型压缩的开发者点开看看。

原文

07:22

berryxia@berryxia

PrismML 发布了 Bonsai Image 4B 扩散模型的 1-bit 和 Ternary 版本，分别仅 0.93GB 和 1.21GB，比全精度模型小 8.3 倍。在 Mac M4 Pro 上生成速度最高提升 5.6 倍，图像质量和提示词遵循度与更大模型相当。同时上线了 Bonsai Studio iOS App，支持 iPhone 本地离线生成图像，无需订阅或 API。这标志着高质量图像生成从云端真正走向个人设备。

AI模型端侧模型扩散模型图像生成

推荐理由：端侧生图终于不再妥协——Bonsai Image 4B 用极致压缩把云端级质量塞进手机，做移动端 AI 应用或离线创作工具的开发者可以直接在 iPhone 上试，无需联网和付费。

原文

5月25日

13:26

爱范儿@Selina

中国 AI 公司成功将 600 亿参数的大模型部署到手机上，突破了模型体积与移动端算力的瓶颈。这一进展依赖于国产框架、芯片和模型的闭环生态，实现了从方法论到硬件的完全自主。该技术让手机端运行超大模型成为可能，显著提升本地 AI 能力，减少对云端的依赖。关键细节包括模型压缩和推理优化技术，使得在有限内存和功耗下高效运行。这对移动 AI 应用和国产技术生态具有重要意义。

AI产品大模型手机部署国产技术

推荐理由：手机端跑 600 亿参数模型不再是梦，做移动端 AI 应用或关注国产技术生态的开发者，值得关注这一突破，它可能改变未来手机 AI 的玩法。

原文

5月21日

12:31

官方账号arXiv cs.LG@Qishi Zhan, Ziheng Chen, Minxuan Hu

精选

针对一次性幅度剪枝导致的高稀疏度下精度崩溃问题，本文提出了一种无需训练的通道级修复方法——自适应信号复苏（ASR）。该方法通过为每个输出通道估计方差匹配校正，并利用数据驱动的收缩规则稳定校正值，避免了对受损通道的过度放大。在ResNet-50 90%稀疏度下，ASR在CIFAR-10上恢复了55.6%的top-1准确率，远超逐层修复的41.0%和仅BatchNorm重校准的28.0%。实验表明，ASR在多种卷积架构和稀疏设置下均优于现有方法，尤其在高稀疏度场景下效果显著。

论文模型压缩剪枝稀疏网络

推荐理由：做模型压缩和边缘部署的团队终于有了一个无需重训的通道级修复方案——ASR在高稀疏度下能显著挽回精度损失，建议做剪枝优化的开发者直接试。

原文

5月20日

10:35

官方账号arXiv cs.AI@Hyunsoo Han, Sangyeop Yeo, Jaejun Yoo

精选

该研究提出了一种名为 LIFT and PLACE 的知识蒸馏框架，用于训练轻量级扩散模型。LIFT 将蒸馏过程分解为粗对齐和细调优两个阶段，先让学生模型学习教师模型的整体分布，再处理细节。PLACE 则通过分组自适应系数处理空间非均匀误差，进一步提升了蒸馏效果。实验表明，该方法在图像/潜空间、U-Net/DiT 骨干网络、条件/无条件生成等场景下均有效，甚至在极端压缩（学生模型仅 1.3M 参数，为教师的 1.6%）时，传统蒸馏方法失效（FID 高达 50-200+），而新方法仍能稳定收敛并达到 FID 15.73。

论文知识蒸馏扩散模型模型压缩

推荐理由：做扩散模型轻量化或模型压缩的团队，终于有了一个在极端压缩下仍能稳定训练的蒸馏方案，值得直接复现实验。

原文

5月18日

10:31

官方账号arXiv cs.LG@Gabriel Garcia

精选

这篇论文发现，判断Transformer层是否“等价”时，常用的替换测试和交换测试会给出截然不同的结论。替换测试看一层能否替代另一层的位置，交换测试看两层互换后输出是否近似。在Pythia、Qwen3-8B和Llama-3.1-8B等模型上，两种测试的差距从训练初期到收敛逐渐扩大。例如Qwen3-8B在8B规模下，交换测试指导的剪枝比替换测试安全数倍，而Llama-3.1-8B两种测试的剪枝成本却相近。这意味着研究者不能只依赖单一指标判断层冗余，否则可能误判哪些层可以安全剪枝或合并。

论文模型压缩层等价性剪枝

推荐理由：做模型压缩或剪枝的团队，如果只用一种等价性测试就决定删层，可能会踩坑——这篇论文用Qwen3-8B和Llama-3.1-8B的对比告诉你，测试方法选错，安全剪枝的层数能差好几倍。建议在剪枝前先跑一下两种swap-KL诊断。

原文

5月13日

02:41

官方账号NVIDIA AI@NVIDIAAI

NVIDIA AI官方发布了关于Nemotron 3 Nano Omni的专家问答内容，来自Nemotron Labs。该模型是Nemotron系列的最新进展，专注于边缘设备上的高效AI推理。问答中探讨了模型架构、量化技术与实际部署场景，强调了小模型在保持高性能同时降低计算成本的重要性。这标志着NVIDIA在小型化多模态AI模型上的持续投入。

AI模型 NVIDIA Nemotron 边缘推理

推荐理由：对于关注边缘AI部署和模型压缩的开发者，Nemotron系列的技术细节具有实际参考价值，尤其适合了解NVIDIA在小模型领域的最新动态。

原文