#多语言模型

共 9 条 · 7 天 0 条 · 30 天 1 条

BPE 1 FLORES-200 1 HuBERT 1 LFM2.5-8B-A1B 1 LFM2-8B-A1B 1 LLMs 1 MoE 1 o200k_base 1

信息流里打上「多语言模型」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月2日

论文 Agent 与开发者官方一手精选23:00

语言歧视提升多语言语音模型学习

苹果团队发现语言歧视能力能让多语音模型在相同数据预算下接近单语模型表现，对多语音AI开发很有启发。

#HuBERT #多语言模型 #语音识别 #苹果

事件专题

官方一手Apple ML Research2 个信源在谈原文

9月7日

模型 Agent 与开发者精选73°12:15

科大讯飞发布星火 X2.5 模型

讯飞新出的星火 X2.5 模型，参数量巨大，支持超长上下文，价格比 GPT-4 便宜不少。

#星火 X2.5 #科大讯飞 #MoE #多语言模型

IT之家原文

8月27日

论文09:27

技能差异：LLMs在不同语言中的技能是否一致？

这篇论文揭示了大型语言模型在不同语言中的技能差异，对于理解多语言模型的发展具有重要意义。

#LLMs #多语言模型 #技能差异 #文本游戏

arXiv cs.AI@Bobby Cheng 等 7 人原文

7月28日

论文10:07

Tokenizer Tax：量化并解释印度语言子词分词的跨语言代价

这篇论文用数据证明印度语言在LLM中平均被吃掉8倍token，马来语更高达13倍，还分析了原因和修复方向，做多语言应用的朋友值得看看。

#Tokenizer Tax #FLORES-200 #XLM-R #o200k_base

arXiv: OpenAI@Priyansh Srivastava原文

7月17日

论文11:20

预训练LLM的原地分词器扩展方法

想给模型加新语言但不想从头训？这篇论文的原地分词器扩展办法，让LFM2.5在印地语和越南语上token数砍半，解码快3倍，代码和权重都开源了。

#分词器扩展 #LFM2-8B-A1B #LFM2.5-8B-A1B #BPE

arXiv cs.AI@Jimmy T. H. Smith 等 10 人原文

6月25日

论文09:37

SARA：通过语义锚定路由对齐解锁MoE多语言知识

论文提出SARA方法，用语义锚对齐MoE路由，让低资源语言也能用好专家能力，Global-MMLU提升0.8%-1.2%。

#SARA #MoE #Qwen3 #多语言模型

arXiv cs.AI@Tianyu Dong 等 12 人原文

5月30日

模型精选02:21

Command A+ 在韩日希阿中等语言上超越 Mistral Medium 3.5

非拉丁语表现更优

#Command A+#Mistral Medium 3.5 #DeepSeek V4 Pro #Cohere

事件专题

官方账号Cohere@cohere2 个信源在谈原文

5月22日

论文精选10:42

BLADE数据集：修复孟加拉语多语言模型敬语错误

做低资源语言NLP或文化敏感对话系统的团队，这个数据集直接解决了敬语对齐的痛点，可以拿来微调自己的模型试试。

#多语言模型 #孟加拉语 #敬语对齐 #指令微调

arXiv: DeepSeek@Md. Asaduzzaman Shuvo 等 5 人原文

5月14日

论文精选13:36

350种语言小模型挑战大模型：LREC口头报告

这项研究打破了多语言模型必须靠大参数量才能取得好效果的固有认知，做低资源语言 NLP 的团队可以直接参考其方法，用更小的成本覆盖更多语言。

#多语言模型 #低资源语言 #小模型 #LREC

官方账号EleutherAI@AiEleuther原文