精选理由
做RAG系统的团队，如果发现线上召回率不如测试时，这三个原因能帮你快速定位问题，建议对照排查。
RAG系统上线后召回率下降，常见原因包括：索引过期（新文档加入、旧文档修改或删除，但向量索引未更新）、嵌入模型变更（如OpenAI更新模型导致新旧向量不匹配）、用户提问方式变化（用户群体和产品变化导致查询分布偏移）。此外，测试集可能已偏离真实场景，掩盖了召回率下降的问题。这些因素会导致检索结果不准确，影响RAG系统性能。
AI 翻译 · 中文
RAG系统上线后召回率下降，常见原因包括：索引过期（新文档加入、旧文档修改或删除，但向量索引未更新）、嵌入模型变更（如OpenAI更新模型导致新旧向量不匹配）、用户提问方式变化（用户群体和产品变化导致查询分布偏移）。此外，测试集可能已偏离真实场景，掩盖了召回率下降的问题。这些因素会导致检索结果不准确，影响RAG系统性能。
Your RAG tested well and went live, but recall is getting worse. 𝗧𝗵𝗿𝗲𝗲 𝗰𝗼𝗺𝗺𝗼𝗻 𝗰𝗮𝘂𝘀𝗲𝘀: • 𝗧𝗵𝗲 𝗶𝗻𝗱𝗲𝘅 𝗶𝘀 𝘀𝘁𝗮𝗹𝗲. New docs get added, old ones get edited or deleted, but the vector index is stil…