12:10
官方账号arXiv cs.AI@Paul Jünger, Justin Lovelace, Linxi Zhao, Dongyoung Go, Kilian Q. Weinberger
精选
推荐理由：SARDI巧妙利用了扩散模型去噪过程中的“废料”token，为RAG提供了一种零成本的前瞻信号，做问答系统或检索增强生成的团队值得关注，可以直接集成到现有扩散模型中提升效果。
SARDI
共 1 条相关 AI 资讯
6月5日
12:10
离散扩散语言模型通过并行去噪生成文本，每一步会预测掩码位置的候选词，并丢弃低置信度的预测。研究者发现这些丢弃的token实际上包含有用的前瞻信号，能提前揭示关键实体，从而在输出最终确定前检索到更强证据。基于此，他们提出了SARDI（自增强检索扩散语言模型），一种无需训练、与检索器无关的动态RAG框架。在五个多跳问答基准测试中，SARDI以高达8倍的吞吐量超越了当前无需训练的扩散和自回归检索基线。