AutoRelAnnotator:校准模型级联实现低成本高精度相关性标注

AutoRelAnnotator: Calibrated Model Cascades for Cost-Efficient Relevance Evaluation in Sponsored Search

精选理由

这篇论文教你怎么用级联模型做标注,既省成本又保精度,实测处理了1.5亿条数据。

AI 摘要

论文提出校准模型级联方法,通过路由查询至逐步更大的微调分类器,在赞助搜索中高效生成相关性标注。微调贡献20个准确率点,级联几乎不影响准确率但将计算成本减半。逐类等渗校准带来+0.6个点的统计显著提升。系统在生产中处理了1.5亿+标注,加速实验周期。

AI 翻译 · 中文

论文提出校准模型级联方法,通过路由查询至逐步更大的微调分类器,在赞助搜索中高效生成相关性标注。微调贡献20个准确率点,级联几乎不影响准确率但将计算成本减半。逐类等渗校准带来+0.6个点的统计显著提升。系统在生产中处理了1.5亿+标注,加速实验周期。

arXiv cs.AIHow can we generate high-quality relevance annotations at scale without the cost and delays of human labeling? Relevance annotations are the backbone of search ranking systems which is needed for training data preparatio