精选理由
做 RAG 或向量搜索的团队会关心这个关键权衡——大上下文窗口并非万能，检索仍是降本增效的核心手段，建议点开看具体数据。
Qdrant 发布了一项基准测试，比较了两种方法：直接将大量上下文发送给 LLM，以及使用 Qdrant 的两步检索管道仅获取最相关信息。结果显示，更大的上下文窗口会增加成本和延迟，而检索有助于减少 LLM 所需的上下文量，同时保持答案质量。随着上下文窗口的增长，检索不会消失，反而对效率、可扩展性和控制变得更加重要。
AI 翻译 · 中文
Qdrant 发布了一项基准测试，比较了两种方法：直接将大量上下文发送给 LLM，以及使用 Qdrant 的两步检索管道仅获取最相关信息。结果显示，更大的上下文窗口会增加成本和延迟，而检索有助于减少 LLM 所需的上下文量，同时保持答案质量。随着上下文窗口的增长，检索不会消失，反而对效率、可扩展性和控制变得更加重要。
Do larger context windows make vector search obsolete? This benchmark compares two approaches: → Sending large amounts of context directly to an LLM → Using a 2-step retrieval pipeline powered by Qdrant to fetch only the…