10:34arXiv cs.AI@Toshiaki Koike-Akino, Jing Liu, Ye Wang精选张量网络能高效压缩大型神经网络,但现有方法难以在大模型中识别低秩结构。EinSort提出一种自适应张量化方法,通过索引排序发现目标张量中的内在低秩结构。在权重和KV缓存压缩实验中,该方法相比基线显著提升了重建质量。这为LLM的存储和计算优化提供了新思路,尤其适合资源受限场景。论文LLM压缩张量网络低秩结构KV缓存索引排序推荐理由:做LLM压缩和部署的团队值得关注——EinSort用排序技巧解决了张量化的核心痛点,直接提升压缩效率,建议在模型优化流程中试试。原文