tokenizer 相关 AI 资讯 · AI 热点

7月1日

05:45

05:45官方账号Simon Willison’s Weblog（博客/媒体）

Anthropic 发布了 Claude Sonnet 5，其性能接近 Opus 4.8 但价格更低。模型支持 1M 上下文窗口和 128K 输出 token，自适应思考默认开启。新 tokenizer 使英文文本 token 数增加约 30%，实际成本上升约 30%。定价保持 Sonnet 4.6 水平：$3/百万输入、$15/百万输出，8月31日前有折扣。

AI模型 Claude Sonnet 5 Anthropic 推理模型上下文窗口 tokenizer

推荐理由：Anthropic 刚发了 Sonnet 5，性能接近 Opus 4.8 但更便宜，不过新 tokenizer 会让你的账单多掏 30%，用之前先算好账。

5月20日

03:59

03:59

Thomas Wolf@Thom_Wolf

76°

Hugging Face 团队发布了名为 Carbon 的 DNA 模型，其速度比当前最先进的 Evo2 快 275 倍，可在单 GPU 上两天内处理整个人类基因组。Carbon 的核心创新在于其独特的 tokenizer：将 DNA 序列切分为 6 碱基的块，同时保留单碱基分辨率，解决了 BPE 分词器在无空格序列上的低效问题。该模型支持 DNA 序列生成、基因结构分析、突变效应预测、蛋白质折叠以及生命树重建等任务。团队还提供了交互式 demo 供用户探索。

AI模型 DNA 模型 Carbon Hugging Face 基因组分析 tokenizer

推荐理由：生物信息学研究者终于有了一个能跑全基因组的超快模型——Carbon 把处理时间从数周压缩到两天内，做基因组分析或蛋白质设计的团队可以直接用 demo 试效果。