12:22
官方账号arXiv cs.LG@Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson
精选
推荐理由：这篇论文提出Requential Coding，码长不跟着模型大小和数据熵跑，比之前的方法短好几个数量级，还给十亿参数大模型给出了最牛的泛化保证。
Requential Coding
共 1 条相关 AI 资讯
7月14日
12:22
传统参数压缩方法如量化产生码长随模型参数缩放，而prequential coding码长取决于数据熵。本文提出的requential coding使码长独立于参数数和数据熵，通常比prequential短数个数量级。在PAC-Bayes界中，该方法为十亿参数LLM提供了当前最优的泛化保证。实验还发现低熵文本比高熵图像包含更多可学习结构。