black-box

concept · First seen 2026-05-22 · Last seen 2026-11-18 · 42 mentions

Overview

Black-box(黑盒)指内部结构和参数不可直接观察或访问的系统,在人工智能领域常用来描述仅能通过输入输出交互的大模型或专有 API 服务。随着大语言模型能力不断增强但可解释性研究滞后,如何评估、审计甚至攻击黑盒模型,正成为学术界与产业界共同关注的议题。

黑盒模型研究的近期进展

在黑盒评估方向,arXiv 一篇论文提出了基于马尔可夫链的黑盒策略评估框架,为无法访问内部状态的模型提供系统化评估路径(arXiv 论文提出基于马尔可夫链的黑盒策略评估框架)。另一项工作提出两级集成黑盒方法,将 LLM 的偶然不确定性与认知不确定性拆分处理(arXiv 论文提出两级集成黑盒方法,为 LLM 拆分偶然与认知不确定性)。

在可解释性方向,ONAM 研究通过拟合正交神经加性模型,对黑盒预测结果做事后解释(ONAM: Fitting Orthogonal Neural Additive Models for Post-Hoc Interpretability of Black-Box Predictions);还有研究提出不依赖权重访问、让大模型充当临床预测网络审计者的思路(Computation, not weight access: large language models as auditors of clinical prediction networks)。

在黑盒优化与蒸馏方向,新基准专门测试 LLM 智能体执行黑盒优化的能力(A Closer Look at Agentic BBO: Benchmarking LLM Agents for Black-Box Optimization),另有工作将黑盒教师模型的知识蒸馏用于训练网络智能体(Teaching Agents in their Own Style: Blackbox Teacher Distillation for Web Agents)。

当前焦点与观察点

安全层面,针对黑盒 LLM 的攻击研究持续推进,arXiv 论文分析了通过受控解码发起的黑盒攻击路径(Controlled Decoding Attacks on Black-Box LLMs),说明仅暴露 API 的模型仍面临系统性风险。

产业层面,据 The Decoder 报道,xAI 被曝曾长期使用 Claude 的输出训练自家编程模型,被切断后仍继续调用黑盒服务,这暴露了闭源模型之间的依赖关系难以审计的问题(xAI 被曝用 Claude 训练编程模型数月,被切断后仍用黑盒服务)。与此同时,a16z 的 Andrew Chen 公开发声,认为客户可控的护栏优于黑盒方案,代表了开放权重阵营对黑盒专有服务的质疑(andrew chen on X)。

综合来看,black-box 相关研究的核心矛盾在于:专有模型的可控性与开放模型的可审计性如何平衡。值得持续观察的信号包括黑盒评估方法能否标准化、针对黑盒 API 的攻击与防御演进,以及开放权重路线在监管和企业采购中能否获得更多份额。

Coverage

10 on file