自一致性重排序提升叙事问答性能

A Self Consistency Based Reranking for Narrative Question Answering

精选理由

一篇提升叙事问答准确率的新方法,用自一致性重排序让多个模型都涨分,Pegasus-Large提升超14个百分点,简单有效。

AI 摘要

针对叙事问答中单次解码易产生不一致答案的问题,提出自一致性重排序框架。该方法先生成多个候选答案,再根据语义一致性选择最终输出。在NarrativeQA数据集上使用FLAN-T5(Base/Small)和Pegasus-Large进行评测。FLAN-T5-Base从82.32%提升至86.66%(+4.34%),Pegasus-Large从72.50%提升至87.07%(+14.57%)。

AI 翻译 · 中文

针对叙事问答中单次解码易产生不一致答案的问题,提出自一致性重排序框架。该方法先生成多个候选答案,再根据语义一致性选择最终输出。在NarrativeQA数据集上使用FLAN-T5(Base/Small)和Pegasus-Large进行评测。FLAN-T5-Base从82.32%提升至86.66%(+4.34%),Pegasus-Large从72.50%提升至87.07%(+14.57%)。

arXiv cs.AINarrative question answering (NQA) is a challenging task in natural language processing that requires models to understand long textual contexts, capture relationships across events, and generate coherent responses. Desp