Event ·Multi-source

论文:低成本验证器 Jev 在 RAG 事实核验上接近 GPT-6 Astra

一篇论文测试了只返回标签和概率的小型验证器 Jev,与 GPT-6 Astra 在 495 条人工标注的 RAG 主张上对比。Jev 的准确率与 Astra 相差仅 0.6 个百分点,成本低 187 倍,但它放行了 23.2% 的无依据主张,Astra 为 14.1%。论文还搭建了 Jev 先答、疑难转 Astra 的级联方案,虽降低了 Astra 账单,但随机分流同样比例的主张也能省差不多。作者建议选型时重点测量验证器放行无依据主张的比例,而不是只看准确率。

Current read

做 RAG 的朋友看看这篇:Jev 成本只有 GPT-6 Astra 的 1/187,准确率几乎持平,但它漏放无依据主张的比例高不少,选型时得盯这个指标。

4 sources31° AI heatLast updated 2026/10/27 10:24:24

Evidence

4 sources
Primary sourcerohanpaul_ai
View source
Related source 1arXiv: DeepSeek
View source
Related source 2OpenAI Blog
View source
Related source 3Shubham Saboo
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.