№幻觉·general
幻觉
别名
- 首次出现
- 2026-05-22
- 最近出现
- 2026-07-27
- 累计提及
- 187
§ 01综述
幻觉(Hallucination)是指AI模型生成与事实不符或毫无根据的输出,在视觉语言模型(VLM)和大型语言模型(LLM)中尤为突出,是当前AI可靠性的核心挑战。
AI幻觉近期进展
一项分析十年视觉语言模型进化的研究(arXiv cs.AI, 2026)指出,虽然模型在标准基准上的准确性不断提升,但在视觉认知错误(如物体位置、数量误判)上仍频繁出现幻觉;具体数字显示,错误率随模型规模增大而下降,但复杂场景中幻觉发生率仍高达15%-30%。十年视觉语言AI模型进化:准确性与视觉认知错误分析
针对AI仓库调用漏洞的研究揭示了一种名为HalluSquatting的攻击方法,利用模型在调用API时产生的幻觉(如虚构函数名或参数),成功率达到100%在某些场景下。研究者强调,这类攻击可导致软件供应链污染和安全风险。AI 仓库调用漏洞 HalluSquatting 攻击成功率最高 100%
微软研究院提出的HIVE框架专注于理解视觉语言模型中的“幻觉后推理”现象。HIVE通过分析模型内部注意力机制,发现幻觉通常源于对视觉特征的过度依赖或错误融合,并提供了新的检测指标。HIVE: 理解视觉语言模型中的幻觉后推理
阿里云AI短片《Tethered》在摩纳哥AI电影节获得第七名,该片完全由AI生成,但未涉及对幻觉的专门处理;不过这类创作实践凸显了AI在内容生成中控制幻觉的必要性。阿里云AI短片《Tethered》获摩纳哥AI电影节第七名
当前焦点与观察点
当前对AI幻觉的研究集中在三个方面:一是检测与解释,如HIVE这类框架试图建模幻觉发生的内部机制;二是缓解技术,包括数据增强、检索增强生成(RAG)和多模态对齐;三是安全应用,如HalluSquatting攻击揭示了幻觉被恶意利用的风险,促使社区关注模型输出的可信度控制。同时,腾讯发布295B混合专家模型Hy3(21B激活参数,256K上下文)等新模型也需面对幻觉问题,尤其在长上下文场景中更易出现信息矛盾。整体而言,AI幻觉仍是制约模型落地的关键瓶颈,未来需从理论、评估和工程层面协同突破。