AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：干扰诊断×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月1日
10:35
10:35arXiv cs.AI@Eric Liang
SPECTRA 是一个可复现的框架，用于生成合成文本语料库和检索测试集，通过分离潜在主题结构、表面文本实现、元数据控制、查询意图生成和确定性相关性预言，解决了人工标注成本高、文档隐私或设计阶段不可用的问题。该框架旨在作为 Cranfield 和 TREC 风格评估的诊断补充，而非替代。单进程 Python 原型生成了多达 6 万文档和 961 万 token 的语料库，保持可控的长尾词汇增长，并为 96 个查询生成分级相关性标签。实验显示，生成速度接近线性（每秒约 1.2 万至 1.4 万文档），估计的 Zipf 斜率绝对值接近 0.86，增加跨主题干扰文本使 BM25 nDCG@10 从 2% 干扰时的 1.00 降至 36% 干扰时的 0.43。这些结果表明，轻量级合成语料库可以在昂贵的人工构建之前暴露检索系统的扩展性和故障模式。
论文信息检索合成数据评估框架相关性预言干扰诊断
推荐理由：做信息检索评估的团队终于有了低成本诊断工具——SPECTRA 用合成数据暴露系统瓶颈，比等人工标注快得多，做检索系统测试的开发者建议试试。
原文