11:52arXiv cs.LG@Hariom Ingle, Ronit Ghode, Ishwari Gondkar, Jidnyasa Harad, Raviraj JoshiL3Cube-MahaPOS是首个大型人工标注的马拉地语词性标注数据集,包含32,354句新闻文本,遵循16标签Universal Dependencies方案。研究在HMM、CRF、BiLSTM、BiLSTM+CharCNN、MuRIL和MahaBERT-v2六类模型上进行了基准测试。最佳模型MahaBERT-v2达到88.67%的token级准确率和81.67%的宏F1分数。该数据集和模型检查点已开源,可助力马拉地语NLP研究。AI模型L3Cube-MahaPOSMahaBERT-v2Marathi词性标注数据集推荐理由:马拉地语有8300万使用者但标注数据稀缺,这个新数据集和MahaBERT模型基准很实用,适合做低资源语言NLP的朋友参考。原文
12:38arXiv: DeepSeek@Spandan Pratyush精选该论文提出一种基于语法角色(词性标注)的稀疏注意力机制,通过动态生成注意力掩码,只允许语法相关的词对进行交互,从而降低Transformer自注意力的计算复杂度。实验在SST-2情感分类任务上使用DistilBERT架构,硬掩码和软掩码策略分别达到0.8200和0.8165的准确率,与全注意力的0.8200持平,但显著减少了理论计算开销。该方法为构建更高效、可解释且融入语言学知识的Transformer模型提供了新路径。论文稀疏注意力Transformer语法引导可解释性词性标注推荐理由:做NLP模型压缩或可解释性研究的开发者,可以关注这种用语法知识替代暴力稀疏化的思路——既省算力又不掉点,值得在长文本任务上试试。原文