#BPE

共 6 条 · 7 天 1 条 · 30 天 3 条

信息流里打上「BPE」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月9日

研究者拿德语 ASR 做了 40 次微调实验，发现小词表时按音节切分能扛住方言和口语场景，做多语言语音的可以看看选词表的思路。

arXiv cs.LG@Christopher Witzl 等 3 人原文

9月28日

59.8K 星的开源课程，不调 API，从线性代数手写到 DeepSeek-V3 架构和多智能体，学完还能攒下 523 个作品，特别适合想搞懂底层原理的人。

shao__meng@shao__meng11 个信源在谈原文

9月17日

这篇论文很硬核，专门拆解了两种分词算法的优劣，对做大模型的研究者很有参考价值。

arXiv cs.AI@Ahmetcan Yavuz 等 3 人原文

7月24日

想搞懂大模型数不对数的原因？这个视频讲得特别清楚，几分钟就懂了。

向阳乔木@vista8原文

7月17日

想给模型加新语言但不想从头训？这篇论文的原地分词器扩展办法，让LFM2.5在印地语和越南语上token数砍半，解码快3倍，代码和权重都开源了。

arXiv cs.AI@Jimmy T. H. Smith 等 10 人原文

5月29日

论文多源确认精选13:59

做多语言NLP或印度语AI应用的团队终于有了一个不牺牲英语和代码性能的专用分词器——直接替换o200k_base就能获得印度语26.7%的token节省，建议做LLM训练或推理优化的开发者试试。

arXiv: OpenAI@Rohan Shravan9 个信源在谈原文