DeepMem：一种在字节级语言模型上压缩语义并保留字节细节的多尺度架构

arXiv 论文提出 DeepMem，一个针对字节级语言模型的因果多尺度架构。它用可逆子带变换构建更短的层级序列，通过无损载体和显式细节侧带保留字节信息。在 FineWeb-Edu 和 PG19 上，DeepMem 的语言建模表现超过同等参数量的字节级 Transformer，并在 FRES 语种上取得最优宏平均成绩。瓶颈层的迭代精炼比等效全分辨率推理少约 7,600 倍计算量，同时保持有竞争力的吞吐。它在 PIQA 上提升准确率，代码建模、多项选择推理和字节级损坏鲁棒性也保持竞争水平。