检索增强(Retrieval-Augmented Generation, RAG)是一种将外部知识检索与生成式模型结合的技术,旨在提升模型输出的准确性和可解释性,已成为大型语言模型(LLM)落地应用的关键范式。近期,该领域围绕安全性、推理能力、成本效率以及系统集成等方向涌现出多项创新,同时也暴露出新的挑战。
检索增强推理与泛化能力突破
最新提出的RA-RFT方法通过检索增强强化微调(Retrieval-Augmented Reinforcement Fine-Tuning),使模型在少量示例上学习类比推理,显著提升泛化能力。RA-RFT:通过检索增强强化微调实现类比推理 此外,DARP策略关注差异感知检索,在模仿学习中通过检索具有区分度的样本提升策略泛化性。DARP:差异感知检索策略提升模仿学习泛化性
Agentic RAG与系统集成进展
Google Research为Gemini Enterprise Agent平台引入Agentic RAG,利用Sufficient Context Agent处理多跳查询,增强了复杂任务中的检索与推理能力。Google Research 为 Gemini Enterprise Agent 平台加入 Agentic RAG,用 Sufficient Context Agent 处理多跳查询 同时,GrepSeek训练搜索智能体直接与语料库交互,探索更高效的检索机制。GrepSeek:训练搜索智能体直接与语料库交互 Exa CEO指出,借助检索增强,小模型可节省20倍成本,有效应对Token危机。Exa CEO 谈检索如何解决 Token 危机:小模型+检索可省 20 倍成本
当前焦点与观察点
检索增强系统的安全性与结构局限性成为关注热点:DACSI攻击展示了低频间接提示注入如何突破RAG安全边界,提示防御机制仍需加强。DACSI攻击:低成本间接提示注入突破RAG安全边界 另一方面,有研究指出RAG在法律领域存在结构性局限,其依赖概率相似性难以处理深层语义关系。RAG在法律领域的结构性局限:超越概率相似性 此外,检索增强还被应用于内容审核(如Mod-GuideMod-Guide:基于LLM的内容审核系统,提升对少数族裔敏感言论的识别)和硬件设计自动化(如SECDA-DSESECDA-DSE:LLM引导FPGA加速器自动设计,减少人工探索),展现了跨领域的潜力。