#low-resource languages

29 stories · 1 in 7 days · 9 in 30 days

speech recognition 3 OpenAI 2 open-source models 2 datasets 2 AfriBED 1 Agaram 1 Apple 1 ArSciKids 1

Stories, products and papers tagged "low-resource languages", newest first.

Nov 13

Models BuildersMulti-source13:19

Chinese contentSaidzoda-Kazakh-EmbeddingGemma-300M：单轮微调将哈萨克语检索 recall@1 提升至 78.0%

339M 参数的小模型，用一个 epoch 的合成问答对微调，哈萨克语检索 recall@1 从 60.8% 拉到 78.0%，还压过 OpenAI text-embedding-3-large。做低资源语言检索或想复刻这套合成数据微调流程的工程师都该看看细节。

#EmbeddingGemma #MTEB #Belebele #embedding models

arXiv: OpenAI@Tohir Saidzoda et al. (6)Source

Nov 3

Chinese contentArSciKids：面向小学科学的阿拉伯语课程对齐数据集发布

做阿拉伯语教育 NLP 的可以看看，999 条科学实验加 2167 道选择题，还附了 10 个开源模型的 LoRA 微调评测结果，即将开源。

#ArSciKids #LoRA #low-resource languages #datasets

arXiv cs.LG@Taghrid Housari et al. (6)Source

Oct 30

Papers Builders12:31

Chinese content研究称不同语言的 Token 消耗量最高相差 17 倍

低资源语言用户用 AI 要多花好几倍的钱，有的模型差到 17 倍，看完你就明白为啥非英语市场做 AI 更贵更慢。

#Token #multimodal #low-resource languages

IT之家Source

Oct 28

Papers Builders09:24

Chinese content首个开源巴斯克语语音语言模型发布

巴斯克语也能做语音对话了，用 Latxa 加合成数据就搞定，做小语种语音模型可以参考这套做法。

#Latxa #LLaMA-Omni #speech models #low-resource languages

arXiv cs.AI@Andoni Sudupe et al. (6)Source

Oct 22

Industry BuildersMulti-source23:52

Chinese contentMeta 和 OpenAI 的智能体出海面临网络与语言双重障碍

Rest of World 梳理了 Meta 和 OpenAI 智能体进入发展中国家会撞上的现实问题：网不稳、小语种支持弱，聊这个话题的可以看看。

#Meta #OpenAI #agents #low-resource languages

Rest of World@restofworldSource

Oct 21

Models BuildersMulti-source13:21

Chinese contentOpenAI 模型强化 COBOL、Fortran 等低资源语言编程能力

OpenAI 把模型往 COBOL、Fortran 这些老语言上打磨了，银行和政府的旧系统迁移可能真能省不少事，搞企业级开发的朋友可以看看。

#OpenAI #COBOL #coding assistants #low-resource languages

Official accountOpenAI@OpenAI (@OpenAI)Source

Oct 20

Papers Builders12:33

Chinese contentAfriBED：面向非洲低资源语言的语音识别偏见评估数据集

一篇做语音识别公平性评估的数据集论文，专门针对 Bemba 和 Nyanja 这两种缺数据的非洲语言，做 ASR 偏见检测的可以看看。

#AfriBED #speech recognition #low-resource languages

arXiv cs.AI@Claytone Sikasote et al. (3)Source

Oct 15

Models BuildersMulti-source12:41

Chinese contentAgaram 2.5B：首个从零训练、支持工具调用的泰米尔语优先模型

一家小团队花 1.33 万美元从零训了个泰米尔语小模型，8 张 H100 六天搞定，还开源了权重和训练细节，低资源语言玩家可以抄作业。

#Agaram #open-source models #fine-tuning #low-resource languages

arXiv cs.LG@Ramchand Kumaresan et al. (3)Source

Papers Builders12:41

Chinese content研究发现：LLM 时代回翻译仍是低资源机器翻译的有效手段

只有 1K 平行句对也能用回翻译把低资源语言翻译提上去，比继续预训练好不少，做小语种翻译的可以看看这篇论文。

#low-resource languages #XCOMET

arXiv cs.AI@Divyanshu Bathla et al. (3)Source

Oct 13

Papers BuildersOfficialSelected22:47

Apple Research Finds Data Mixing Beats Hyperparameter Tuning for Low-Resource Languages

The practical implication is that teams building models for smaller language markets should prioritise corpus curation and bilingual data mixes over expensive hyperparameter sweeps, saving compute and experiment cycles. Engineers working on Thai, Vietnamese or Bahasa Indonesia models can apply the mixing-ratio approach directly, and it offers a concrete benchmark for comparing against tuning-heavy pipelines used by larger labs.

#Apple #low-resource languages #pretraining #multilingual

Primary sourceApple ML ResearchSource

Oct 6

Papers Builders09:46

Chinese content研究用 Bengali 数据集测高校立场极化，Llama 4 Maverick 零样本 F1 达 0.931

孟加拉语这种低资源语言上，Llama 4 Maverick 不微调就拿下 0.931 的 F1，比 BanglaBERT+XGBoost 还高，做低资源语言分类的可以看看。

#Llama 4 Maverick #BanglaBERT #DeepSeek-V3.1 #low-resource languages

arXiv: DeepSeek@Safaruzzaman Shovo et al. (5)Source

Sep 28

Models BuildersSelected73°23:58

Monsoon speech dataset cuts Telugu WER from 92.7% to 16.1%

The takeaway is that low-resource ASR quality can be bought with better data curation rather than bigger models, since a mid-size Whisper checkpoint beat Gemini 3.1 Pro on Telugu purely through fine-tuning. Teams building speech products for Indic and other under-served language markets can use this dataset-first approach instead of waiting for larger architectures. Keeping noisy audio in training, with DNSMOS-based stratification, is the transferable technique.

#Whisper #Monsoon #speech recognition #low-resource languages

rohanpaul_ai@rohanpaul_aiSource

Chinese content研究系统评估 LLM 对海地克里奥尔语的文化理解能力

一篇关于小语种文化评估的论文，母语者出题测 LLM，发现海地角色老被写成苦难叙事，角度挺有意思。

#LLM evaluation #low-resource languages

arXiv cs.AI@Christelle Clervilsson, Yanzhu GuoSource

Sep 25

Papers Builders09:36

Chinese content面向加纳三语青少年健康语音识别的基准测试与领域适配研究

加纳团队用 Qwen3-ASR-0.6B 给三种本地语言做语音识别，Ewe 错误率砍掉近一半，还上线了健康问答应用 KasaHealth，低资源语言落地的完整参考。

#Qwen3-ASR #Gemma #speech recognition #low-resource languages

arXiv cs.AI@Stephen E. Moore et al. (6)Source

Aug 31

Chinese contentBanglaMed-QA孟加拉医疗问答系统发布

孟加拉语医疗问答系统BanglaMed-QA上线，解决低资源语言医疗信息缺口，准确率达95%。

#BanglaMed-QA #SVM #low-resource languages

arXiv cs.LG@Rowzatul Zannat et al. (4)Source

Aug 19

PapersMulti-source11:42

Chinese content低资源语言中的思考：SFT构建、RL修复与准确率盲区

论文揭示SFT和RL如何让模型真正用低资源语言思考，而非表面准确率提升，还发布了五个实用检查点。

#SFT #RL #low-resource languages #reasoning models

arXiv: OpenAI@Ayoub Kirouane, Christos PetrocheilosSource

Aug 13

Chinese content结构性沉默：AI基础设施如何忽视孟加拉语等低资源语言

这篇论文讲孟加拉语在AI基建里的吃亏，67:1的token差距和36.5%的农村联网率是硬数据。

#low-resource languages #tokenization

arXiv cs.AI@Avijit Roy, Proma RoySource

Aug 7

Chinese contentSAGA：低资源北欧语言模型的分数加权自适应生成对齐

这篇论文用依赖解析器代替人工标注做偏好优化，北欧三种低资源语言上效果提升明显，做多语言模型的人可以看看。

#SAGA #GPT-SW3 #low-resource languages

arXiv cs.LG@Hoda Fakharzadehjahromy et al. (5)Source

Jul 23

Chinese contentPersian Pixel：大型波斯语合成OCR数据集

做波斯语OCR不用愁数据了，Persian Pixel有34万张合成图加上25种真实退化模拟，直接拿它训模型比手动标注省事得多。

#Persian Pixel #OCR #low-resource languages

arXiv cs.AI@Pouria Mahdi, Haq Nawaz MalikSource

Jul 21

Chinese contentWhisper微调实现阿萨姆语语音识别显著提升

这篇论文告诉你如何微调Whisper搞定低资源语言阿萨姆语的语音识别，效果比零样本好一大截，WER直接降了78%

#Whisper #Assamese #ASR #low-resource languages

arXiv cs.LG@Ganapati Das et al. (7)Source

Jul 3

Chinese contentLLM-as-a-Judge在多语言和低资源语言中的挑战与建议

这篇论文很实在，直接指出LLM-as-a-Judge在多语言场景下不靠谱，只找出33篇相关研究还一堆问题。做NLP评估的朋友建议看看。

#LLM-as-a-Judge #low-resource languages #multilingual #model evaluation

arXiv cs.AI@A. Seza Doğruöz et al. (6)Source

Jun 12

Chinese contentSkMTEB：斯洛伐克语首个MTEB文本嵌入基准与模型适配

低资源语言NLP开发者终于有了可本地部署的高效嵌入方案——e5-sk系列在体积缩减62%后仍能匹敌商业API，做斯洛伐克语语义搜索或RAG的团队可以直接用开源模型替代付费服务。

#low-resource languages #open-source and repositories

arXiv cs.AI@Marek Šuppa et al. (5)Source

Jun 3

Chinese content用从未发生的对话训练ASR：合成对话提升低资源语言识别

低资源语言ASR团队终于有了可落地的数据增强方案——用LLM+TTS生成对话数据，效果堪比数倍真实数据。做多说话人语音识别的开发者值得一试，尤其适合匈牙利语等小语种场景。

#speech recognition #data augmentation #low-resource languages #TTS

arXiv cs.AI@Máté Gedeon, Péter MihajlikSource

PapersMulti-sourceSelected10:01

Chinese contentBaltiVoice：为巴尔蒂语构建的语音语料库与微调Whisper ASR系统

这是首个为巴尔蒂语打造的ASR系统，解决了低资源语言语音识别的空白，做多语言语音技术或濒危语言保护的团队可以直接用这个开源模型和语料库。

#speech recognition #low-resource languages

arXiv: OpenAI@Muhammad AliSource

May 22

PapersSelected10:42

Chinese contentBLADE数据集：修复孟加拉语多语言模型敬语错误

做低资源语言NLP或文化敏感对话系统的团队，这个数据集直接解决了敬语对齐的痛点，可以拿来微调自己的模型试试。

#low-resource languages

arXiv: DeepSeek@Md. Asaduzzaman Shuvo et al. (5)Source

May 19

PapersSelected72°14:03

Chinese content低资源非洲语言多轮对话可越狱主流LLM，成功率最高83.6%

安全团队和LLM开发者需要警惕：多语言安全漏洞远未被堵住，低资源语言成为新的攻击面。建议立即检查自家模型的多轮对话安全机制。

#low-resource languages #multi-turn conversation #security vulnerabilities #LLM security

arXiv: DeepSeek@Dylan Marx, Marcel DunaiskiSource

May 14

PapersSelected13:36

Chinese content350种语言小模型挑战大模型：LREC口头报告

这项研究打破了多语言模型必须靠大参数量才能取得好效果的固有认知，做低资源语言 NLP 的团队可以直接参考其方法，用更小的成本覆盖更多语言。

#low-resource languages #small language models #LREC #EleutherAI

Official accountEleutherAI@AiEleutherSource

PapersSelected13:27

Chinese contentWARDEN：仅用6小时训练数据实现濒危原住民语言转录与翻译

低资源语言处理是 NLP 的硬骨头，WARDEN 用两阶段设计+跨语言迁移+词典增强给出了可行方案，做低资源 ASR/NMT 的研究者可以直接参考其技术路线。

#low-resource languages #translation #WARDEN

arXiv cs.AI@Ziheng Zhang et al. (4)Source

PapersSelected13:27

Chinese contentDocAtlas：覆盖82种语言的多语言文档理解框架

做多语言文档理解或 OCR 的团队终于有了一个覆盖 82 种语言的高质量基准和训练框架，低资源语言场景可以直接用 DPO 方法提升效果，建议点开看具体实现。

#OCR #low-resource languages #DocAtlas

arXiv: DeepSeek@Ahmed Heakl et al. (9)Source