Chinese contentChorus:共享n-gram嵌入表配合逐层适配,体积缩小87%
DeepSeek 的 Engram 刚带火 n-gram 嵌入表,这篇论文就给了个更省内存的方案:一张共享表加逐层投影,1.2B 参数打出 9.6B 的效果。做预训练或研究架构的人可以看看实现思路,配 Ember 优化器内存还能再省 99.2%。
DeepSeek 的 Engram 刚带火 n-gram 嵌入表,这篇论文就给了个更省内存的方案:一张共享表加逐层投影,1.2B 参数打出 9.6B 的效果。做预训练或研究架构的人可以看看实现思路,配 Ember 优化器内存还能再省 99.2%。