Event ·Single source

实验研究:混合检索与开源 LLM 结合做科学论断验证

该研究构建了一个包含 2,035 条论断的基准,数据来自 SciFact 和 CliniFact(858 条 Support、152 条 Contradict、1,025 条 Not Enough Evidence)。检索环节用语义检索加 BM25 的混合方法为每条论断取最相关的五句话,效果略优于单一方法。对比 DeBERTa-v3 NLI 基线与 Llama 3.1 8B、Qwen3 8B、Mistral 7B 三个模型,Qwen3 的 Macro-F1 最高,达 0.7937,NLI 基线仅 0.3157。与假设相反,两者一致才下结论的保守融合规则反而降低表现,Qwen3 的 Macro-F1 从 0.7937 降至 0.7392,错误分析显示分歧时常把 LLM 本来正确的判断改错。

Current read

一条 arXiv 实验论文:用 BM25 加语义检索喂证据,Qwen3 8B 做 SciFact 论断验证拿了 0.79 的 Macro-F1,而且发现 NLI 加 LLM 融合反而掉分,做 RAG 事实核查的可以看看。

2 sources31° AI heatLast updated 2026/11/2 13:12:13

Evidence

2 sources

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.