L3Cube-MahaPOS:马拉地语词性标注数据集及BERT模型

L3Cube-MahaPOS: A Marathi Part-of-Speech Tagging Dataset and BERT Models

精选理由

马拉地语有8300万使用者但标注数据稀缺,这个新数据集和MahaBERT模型基准很实用,适合做低资源语言NLP的朋友参考。

AI 摘要

L3Cube-MahaPOS是首个大型人工标注的马拉地语词性标注数据集,包含32,354句新闻文本,遵循16标签Universal Dependencies方案。研究在HMM、CRF、BiLSTM、BiLSTM+CharCNN、MuRIL和MahaBERT-v2六类模型上进行了基准测试。最佳模型MahaBERT-v2达到88.67%的token级准确率和81.67%的宏F1分数。该数据集和模型检查点已开源,可助力马拉地语NLP研究。

AI 翻译 · 中文

L3Cube-MahaPOS是首个大型人工标注的马拉地语词性标注数据集,包含32,354句新闻文本,遵循16标签Universal Dependencies方案。研究在HMM、CRF、BiLSTM、BiLSTM+CharCNN、MuRIL和MahaBERT-v2六类模型上进行了基准测试。最佳模型MahaBERT-v2达到88.67%的token级准确率和81.67%的宏F1分数。该数据集和模型检查点已开源,可助力马拉地语NLP研究。

arXiv cs.LGPart-of-Speech (POS) tagging is a foundational NLP task underpinning machine translation, information extraction, and syntactic parsing. Despite Marathi being spoken by over 83 million people and ranking among the top tw