AITOP
精选
过去 24 小时，从 758 条中筛出 48 条
全部模型产品行业论文技巧
标签：BPE×
6月11日
15:28
15:23
15:07
6月1日
00:09
5月29日
13:59
13:59arXiv: OpenAI@Rohan Shravan
精选
研究者发布了BrahmicTokenizer-131K，一个131072词汇量的字节级BPE分词器，专门优化了印度婆罗米系语言的压缩效率，同时保持与OpenAI o200k_base相当的英语、欧洲语言和代码压缩性能。它通过两阶段改造实现：先裁剪o200k_base中不相关的书写系统，再为9个婆罗米Unicode区块分配2372个词汇槽位。在2700万印度语预训练文本上，它比同词汇量的Mistral-Nemo Tekken/Sarvam-m少产生26.7%的token，其中奥里亚语压缩比达4.31倍。在非印度语内容上，其英语词元率（1.235 vs 1.232）与o200k_base持平，并在HumanEval、MBPP和GSM8K上优于Tekken/Sarvam-m 4.0-14.2%。该分词器是131K词汇量下唯一同时在婆罗米语、英语、欧洲语言、代码和数学上表现均衡的方案，已以Apache 2.0协议开源。
论文分词器多语言NLP印度语BPE开源/仓库
推荐理由：做多语言NLP或印度语AI应用的团队终于有了一个不牺牲英语和代码性能的专用分词器——直接替换o200k_base就能获得印度语26.7%的token节省，建议做LLM训练或推理优化的开发者试试。
原文
08:02
AITOP5月29日 08:02
Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？🔥Anthropic 把 AI 编程的“确认键”彻底删掉了！Claude Code 搭载全新 Opus 4.8 模型，长时间任务不跑偏、不废话、不中断，像一个资深工程师一样默默干活，从功能开发到漏洞清扫全包圆，你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”，现在它直接交完整交付物……自主编程的最后一层窗户纸，被捅破了。做自动化开发和代码审查的团队，这个模型建议直接上手，效率差距肉眼可见……Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？