Questions

general · First seen 2026-05-22 · Last seen 2026-10-21 · 128 mentions

Overview

Questions(提问/问答)在 AI 领域指用户或评测系统向大语言模型提出的问题,以及模型据此生成答案的整套问答(QA)机制——它既是人机交互的入口,也是衡量模型能力和安全性的核心标尺。随着模型能力提升,围绕 Questions 的研究正从“答得对不对”转向“答得稳不稳、敢不敢拒答、可不可审计”。

Questions 评估的近期进展

  • CQ4OE:面向 LLM 本体生成评估的基准发布:该工作为 LLM 生成知识本体的能力建立了系统化的问题集基准,让“提出什么样的 Questions、如何评分”有了可复用的框架。
  • Same Agent, Different Answers: A Repeat-Aware Audit of Corpus-Induced Answer Churn in Retrieval-Augmented QA:研究对检索增强问答做重复性审计,发现同一智能体对相同问题在不同语料环境下会给出不同答案,提出了答案抖动(answer churn)问题,提示 Questions 的答案稳定性本身需要被评测。
  • 研究提出用含误导前提的数据训练大语言模型提升安全警惕性:通过在训练数据中混入带误导前提的问题,引导模型学会识别并纠正提问中的陷阱,而非一味顺着 Questions 回答。
  • Grad Detect:基于梯度的LLM幻觉检测方法:从模型内部梯度信号出发检测幻觉回答,为“模型对某个问题给出的答案是否可靠”提供了无需外部检索的判断手段。
  • 当前焦点与观察点

    围绕 Questions 的讨论正在两条线上展开。一是技术层面:问答的稳定性、幻觉检测、误导性问题识别成为研究热点,说明社区已意识到一个提问得到多个矛盾答案,和答错一样会侵蚀信任。二是治理层面:Geoffrey Hinton 提议 AI 行业建立类似 FDA 的审批机制,要求模型在发布前通过安全审核(相关报道),这意味着对模型的“出题考试”可能从实验室自评走向制度化、标准化。

    值得观察的是,Questions 的质量开始被与模型能力同等看待:研究界在追问模型如何应对前提错误的问题,业界则在讨论由谁来出题、按什么标准给模型“放行”。未来一年,问答基准与安全审核流程如何衔接,将直接影响模型的评测话语权归属。

    Coverage

    10 on file