论文中美对照09:18Tokenizer无关的Engram记忆模块DeepSeek改了Engram的哈希方式,不同tokenizer之间不用再各自训练,效果还一样,做多语言模型的可以看看。#Deepseek#Engram#Tokenizer#模型架构aarXiv: DeepSeek@Jia Peng Lim, Hai Leong Chieu原文稍后读已读值得跟进有用关注 Deepseek
技巧Agent 与开发者09:50每天学一个AI硬核知识:Tokenizer想搞懂大模型数不对数的原因?这个视频讲得特别清楚,几分钟就懂了。#Tokenizer#BPE#分词#计数错误向阳乔木@vista8原文稍后读已读值得跟进有用关注 Tokenizer