精选理由
做价格统计或零售数据处理的团队，会发现这个简单但有效的管道能快速解决产品分类痛点，建议直接参考其规则+词袋的轻量方案。
本文研究如何将短、噪声、无标准编码的零售产品描述自动映射到消费分类（如UN COICOP），以支持消费者价格测量。作者提出一个管道：文本标准化、基于前缀树的规则预分类器、以及每个类别的二元确认模型。在人工标注环节，采用可靠性加权投票协议，并对比了Dawid-Skene方法。实验发现，在无泄漏控制下，词袋模型即可达到约0.99的F1分数，线性分类器与多层感知机表现相当，约67个标注样本就足够。研究还讨论了价格水平质量控制，为统计机构使用交易数据提供设计经验。
AI 翻译 · 中文
本文研究如何将短、噪声、无标准编码的零售产品描述自动映射到消费分类（如UN COICOP），以支持消费者价格测量。作者提出一个管道：文本标准化、基于前缀树的规则预分类器、以及每个类别的二元确认模型。在人工标注环节，采用可靠性加权投票协议，并对比了Dawid-Skene方法。实验发现，在无泄漏控制下，词袋模型即可达到约0.99的F1分数，线性分类器与多层感知机表现相当，约67个标注样本就足够。研究还讨论了价格水平质量控制，为统计机构使用交易数据提供设计经验。
Consumer-price measurement increasingly draws on alternative data sources -- scanner, web-scraped, and transaction/receipt data. A recurring obstacle is that product descriptions in such sources are short, noisy, and abb…