Anthropic 推出 Contextual Retrieval 提升 RAG 准确性

Introducing Contextual Retrieval Sep 19, 2024

精选理由

做 RAG 应用的开发者终于有了解决上下文丢失问题的实用方案,错误率直降 67%,建议直接看实现指南。

AI 摘要

Anthropic 发布 Contextual Retrieval 技术,通过为每个文本块添加上下文说明,显著提升检索增强生成(RAG)的准确性。传统 RAG 中,孤立文本块常因缺乏上下文导致检索错误,而 Contextual Retrieval 利用 Claude 模型为每个块生成简短描述,使检索更精准。该方法结合 BM25 和嵌入搜索,在多个基准测试中错误率降低 67%。Anthropic 还提供了高效实现指南,包括使用 prompt caching 降低 1.6% 的成本。

图片来源 · Anthropic: Engineering
AI 翻译 · 中文

Anthropic 发布 Contextual Retrieval 技术,通过为每个文本块添加上下文说明,显著提升检索增强生成(RAG)的准确性。传统 RAG 中,孤立文本块常因缺乏上下文导致检索错误,而 Contextual Retrieval 利用 Claude 模型为每个块生成简短描述,使检索更精准。该方法结合 BM25 和嵌入搜索,在多个基准测试中错误率降低 67%。Anthropic 还提供了高效实现指南,包括使用 prompt caching 降低 1.6% 的成本。