#DeepMem

字节级模型不用分词器但太贵，这篇来自 arXiv 的 DeepMem 用多尺度压缩把计算量砍了约 7600 倍，效果还反超同规模 Transformer，做底层架构的可以看看。