论文官方一手
像物理学家一样剪枝 LLM:把删 Block 变成 Ising 优化问题
Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem
精选理由
Multiverse Computing 把“LLM 该删哪些层”写成 Ising 模型用物理方法解,比逐层打分剪枝的思路新鲜。
Multiverse Computing 的团队把 LLM 剪枝重写成一个 Ising 优化问题:Transformer 的每个 block 对应一个自旋,去留由系统能量最小化决定。与按重要性分数逐层打分的常规剪枝不同,Ising 视角把“删哪些 block”当成一次全局组合优化来求解。文章给出了从构建 Ising 哈密顿量到实际删除 block 的完整推导,教程发布在 Hugging Face。