精选理由
SARDI巧妙利用了扩散模型去噪过程中的“废料”token，为RAG提供了一种零成本的前瞻信号，做问答系统或检索增强生成的团队值得关注，可以直接集成到现有扩散模型中提升效果。
离散扩散语言模型通过并行去噪生成文本，每一步会预测掩码位置的候选词，并丢弃低置信度的预测。研究者发现这些丢弃的token实际上包含有用的前瞻信号，能提前揭示关键实体，从而在输出最终确定前检索到更强证据。基于此，他们提出了SARDI（自增强检索扩散语言模型），一种无需训练、与检索器无关的动态RAG框架。在五个多跳问答基准测试中，SARDI以高达8倍的吞吐量超越了当前无需训练的扩散和自回归检索基线。
AI 翻译 · 中文
离散扩散语言模型通过并行去噪生成文本，每一步会预测掩码位置的候选词，并丢弃低置信度的预测。研究者发现这些丢弃的token实际上包含有用的前瞻信号，能提前揭示关键实体，从而在输出最终确定前检索到更强证据。基于此，他们提出了SARDI（自增强检索扩散语言模型），一种无需训练、与检索器无关的动态RAG框架。在五个多跳问答基准测试中，SARDI以高达8倍的吞吐量超越了当前无需训练的扩散和自回归检索基线。
Discrete diffusion language models generate text by iteratively denoising an entire response in parallel. At each step, they predict tentative tokens for every masked position, committing the confident predictions to the…