11:22
官方账号arXiv cs.LG@Sajib Hossain, Md Kamrus Samad, Anan Ghosh, Labib Imam Chowdhury, Nabeel Mohammed
推荐理由：这篇论文用剪枝把BERT砍到只剩10%参数，孟加拉语任务上还能和大模型打平，做低资源语言NLP的可以看看。
BnBERT-iPET
共 1 条相关 AI 资讯
8月6日
11:22
该论文提出BnBERT-iPET，一种面向孟加拉语的稀疏少样本语言建模方法。通过迭代模式利用训练和彩票假设剪枝，模型仅保留初始BERT网络10%的边，实现90%稀疏度。在孟加拉语标准基准数据集上，该轻量模型与Bangla Electra、Indic-BERT、XLM-RoBERTa等大规模模型表现相当。该方法降低了资源受限语言训练大模型的计算成本和碳排放门槛。