AITOP
精选
过去 24 小时，从 694 条中筛出 46 条
全部模型产品行业论文技巧
标签：子模块替换×
6月11日
15:28
15:23
15:07
6月2日
11:59
11:59arXiv cs.AI@Elia Cunegatti, Marcus Vukojevic, Erik Nielsen, Giovanni Iacca
精选
现有 LLM 后训练压缩方法将整个层替换为轻量模块，但受限于全层粒度和连续选择。SubFit 提出子模块级替换，允许非连续地选择 Attention 和 FeedForward 子模块，并为每个子模块独立学习残差旁路。实验覆盖 10 个 LLM（5 个基础、5 个指令微调）和 5 个稀疏度（12.5%-37.5%），在 25% 稀疏度下，SubFit 保留 84.6% 下游精度（最强基线 81.6%），困惑度仅退化 2.42 倍（基线 4.34 倍）。该方法仅需校准数据，可带来推理加速和 KV 缓存节省。代码已开源。
论文模型压缩LLM 部署子模块替换后训练压缩SubFit
推荐理由：做 LLM 部署优化的团队终于有了更精细的压缩工具——SubFit 在 25% 稀疏度下精度损失比最强基线少一半，且非连续子模块选择更贴合真实冗余分布，建议做模型量化和剪枝的开发者直接试。
原文
6月1日
00:09
5月29日
08:02
AITOP5月29日 08:02
Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？🔥Anthropic 把 AI 编程的“确认键”彻底删掉了！Claude Code 搭载全新 Opus 4.8 模型，长时间任务不跑偏、不废话、不中断，像一个资深工程师一样默默干活，从功能开发到漏洞清扫全包圆，你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”，现在它直接交完整交付物……自主编程的最后一层窗户纸，被捅破了。做自动化开发和代码审查的团队，这个模型建议直接上手，效率差距肉眼可见……Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？