#Tokenizer

2 stories · 0 in 7 days · 0 in 30 days

Deepseek 1 Engram 1 模型架构 1

Stories, products and papers tagged "Tokenizer", newest first.

Aug 3

Papers US vs China09:18

Chinese contentTokenizer无关的Engram记忆模块

DeepSeek改了Engram的哈希方式，不同tokenizer之间不用再各自训练，效果还一样，做多语言模型的可以看看。

#Deepseek #Engram #Tokenizer #模型架构

arXiv: DeepSeek@Jia Peng Lim, Hai Leong ChieuSource

Jul 24

How-to Builders09:50

Chinese content每天学一个AI硬核知识：Tokenizer

想搞懂大模型数不对数的原因？这个视频讲得特别清楚，几分钟就懂了。

#Tokenizer #BPE #分词 #计数错误

向阳乔木@vista8Source