Chinese contentCompressionBench:测试编码智能体能否自主压缩 LLM
这篇论文让 6 个编码智能体比赛压缩模型,36 次提交里 29 次跑通,看看它们怎么做到 3.4% 困惑度差距的。
这篇论文让 6 个编码智能体比赛压缩模型,36 次提交里 29 次跑通,看看它们怎么做到 3.4% 困惑度差距的。
想在单卡跑大模型又怕掉点的话,这篇给出更聪明的 SVD 压缩方案,比现有方法准确率高不少,代码也放出来了。
想省显存又不想损失太多模型质量?BiSCo-LLM用二进制球面编码把LLM压到2比特,不用查码表,存储更省。
做LLM压缩和部署的团队值得关注——EinSort用排序技巧解决了张量化的核心痛点,直接提升压缩效率,建议在模型优化流程中试试。