Event ·Official first-hand

arXiv 研究:概率相关性评分在 BEIR SciFact 上优于纯稠密检索

该研究在 BEIR SciFact 基准的 300 条官方测试查询上,比较纯稠密检索 BGE-M3 与两种概率相关性决策评分(TypeSafe Jev Noul 和 OpenAI Decisions Predicate)。在全库检索加重排的条件下,深度 50 时的 nDCG@10 分别为 BGE-M3 0.6413、OpenAI 0.7545、Jev 0.7805,Jev 的 Recall@5 和 nDCG@10 最高。把候选深度从 50 扩到 100 能提高已知正例召回,但配对自助法显示最终效果变化不显著。API 评分成本约为原来的两倍,缓存可降低增量开销;研究结论是相关性决策可作为稠密检索的补充,不构成普遍优越性证明。

Current read

做 RAG 检索的可以看看:同一套 BEIR SciFact 查询下,加一层概率相关性重排,nDCG 从 0.64 提到 0.78,还给了成本和延迟的实测数据。

6 sources31° AI heatLast updated 2026/11/5 13:36:45

Evidence

6 sources
Primary sourcearXiv: OpenAI
View source
Related source 1Stanford AI Lab
View source
Related source 3rohanpaul_ai
View source
Related source 4kimmonismus
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.