#n-gram嵌入

1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "n-gram嵌入", newest first.
Nov 19
Chinese contentChorus:共享n-gram嵌入表配合逐层适配,体积缩小87%

DeepSeek 的 Engram 刚带火 n-gram 嵌入表,这篇论文就给了个更省内存的方案:一张共享表加逐层投影,1.2B 参数打出 9.6B 的效果。做预训练或研究架构的人可以看看实现思路,配 Ember 优化器内存还能再省 99.2%。

arXiv: DeepSeek@Stephen Chung, Wenyu DuSource