12:10arXiv cs.AI@Paul Jünger, Justin Lovelace, Linxi Zhao, Dongyoung Go, Kilian Q. Weinberger精选离散扩散语言模型通过并行去噪生成文本,每一步会预测掩码位置的候选词,并丢弃低置信度的预测。研究者发现这些丢弃的token实际上包含有用的前瞻信号,能提前揭示关键实体,从而在输出最终确定前检索到更强证据。基于此,他们提出了SARDI(自增强检索扩散语言模型),一种无需训练、与检索器无关的动态RAG框架。在五个多跳问答基准测试中,SARDI以高达8倍的吞吐量超越了当前无需训练的扩散和自回归检索基线。论文扩散语言模型检索增强生成多跳问答SARDI无需训练推荐理由:SARDI巧妙利用了扩散模型去噪过程中的“废料”token,为RAG提供了一种零成本的前瞻信号,做问答系统或检索增强生成的团队值得关注,可以直接集成到现有扩散模型中提升效果。原文