幻觉·general

幻觉

别名
首次出现
2026-05-22
最近出现
2026-07-27
累计提及
187
§ 01综述

幻觉(Hallucination)是指AI模型生成与事实不符或毫无根据的输出,在视觉语言模型(VLM)和大型语言模型(LLM)中尤为突出,是当前AI可靠性的核心挑战。

AI幻觉近期进展

  • 一项分析十年视觉语言模型进化的研究(arXiv cs.AI, 2026)指出,虽然模型在标准基准上的准确性不断提升,但在视觉认知错误(如物体位置、数量误判)上仍频繁出现幻觉;具体数字显示,错误率随模型规模增大而下降,但复杂场景中幻觉发生率仍高达15%-30%。十年视觉语言AI模型进化:准确性与视觉认知错误分析
  • 针对AI仓库调用漏洞的研究揭示了一种名为HalluSquatting的攻击方法,利用模型在调用API时产生的幻觉(如虚构函数名或参数),成功率达到100%在某些场景下。研究者强调,这类攻击可导致软件供应链污染和安全风险。AI 仓库调用漏洞 HalluSquatting 攻击成功率最高 100%
  • 微软研究院提出的HIVE框架专注于理解视觉语言模型中的“幻觉后推理”现象。HIVE通过分析模型内部注意力机制,发现幻觉通常源于对视觉特征的过度依赖或错误融合,并提供了新的检测指标。HIVE: 理解视觉语言模型中的幻觉后推理
  • 阿里云AI短片《Tethered》在摩纳哥AI电影节获得第七名,该片完全由AI生成,但未涉及对幻觉的专门处理;不过这类创作实践凸显了AI在内容生成中控制幻觉的必要性。阿里云AI短片《Tethered》获摩纳哥AI电影节第七名
  • 当前焦点与观察点

    当前对AI幻觉的研究集中在三个方面:一是检测与解释,如HIVE这类框架试图建模幻觉发生的内部机制;二是缓解技术,包括数据增强、检索增强生成(RAG)和多模态对齐;三是安全应用,如HalluSquatting攻击揭示了幻觉被恶意利用的风险,促使社区关注模型输出的可信度控制。同时,腾讯发布295B混合专家模型Hy3(21B激活参数,256K上下文)等新模型也需面对幻觉问题,尤其在长上下文场景中更易出现信息矛盾。整体而言,AI幻觉仍是制约模型落地的关键瓶颈,未来需从理论、评估和工程层面协同突破。

    § 02相关报道10 条在档
    1. 01
      Gary Marcus:纯LLM需混合系统才能解决数学问题
      Gary Marcus
    2. 02
      VirtualSet:类型化本体世界作为LLM生成目标,实现有依据查询和受保护决策
      arXiv: DeepSeek
    3. 03
      VirtualSet:用类型化本体世界作为LLM生成目标实现有根基的查询和受控决策
      arXiv: DeepSeek
    4. 04
      开源模型Kimi K3登顶Arena前端代码榜,超越Claude Fable 5和GPT-5.6 Sol
      @koltregaskes
    5. 05
      Whisper微调实现阿萨姆语语音识别显著提升
      arXiv cs.LG
    6. 06
      Otap:结构感知最优传输评估Agent轨迹
      arXiv cs.LG
    7. 07
      ProofAgent-Harness:开源评估工具,通过上下文评分预测AI Agent可靠性
      elvis
    8. 08
      FDE实践方法论:半人工到自动化的三步走
      Yangyi
    9. 09
      Earthquaker-AI: 基于RAG和量规的小学地震教育框架
      arXiv cs.AI
    10. 10
      EG-VAR:用Lean内核形式化验证工具调用,消除LLM推理幻觉
      arXiv cs.LG
    § 03邻近话题

    本页综述由 AITOP 基于公开报道整理。原报道版权归各自来源所有。

    /topic/%E5%B9%BB%E8%A7%89