Sensitivity

general · First seen 2026-05-22 · Last seen 2026-11-17 · 39 mentions

Overview

Sensitivity(敏感性)在 AI 领域泛指模型输出或系统性能对输入扰动、配置细节或内部状态的依赖与波动程度,是衡量大模型与智能体系统稳定性的核心指标。近期的多篇研究从提示词、KV 缓存、差分隐私等不同角度揭示了各类敏感性问题的普遍性,也让“同一模型为何表现不稳定”成为社区关注的话题。

模型输出为何随输入微调而波动

字节跳动 Seed 团队的论文指出,分块 KV 缓存压缩中存在一个“相位敏感性”(Phase Sensitivity)盲区:压缩引入的扰动会随长上下文累积,导致 DeepSeek 等模型在长文本场景下出现性能漂移甚至间歇性“抽风”。该发现解释了为何同一模型处理超长上下文时结果会不可复现,相关分析见 ByteDance Seed Paper Finds a 'Phase Sensitivity' Blind Spot in Chunked KV-Cache Compression 与 字节 Seed 团队发现 DeepSeek“抽风”原因,长上下文可能性能漂移。类似地,Prompt Sensitivity in Tool-Augmented Model Comparisons 研究了工具增强场景下的提示词敏感性,提示模型对比评测结果可能被措辞差异干扰。

智能体与多模态系统中的新证据

在智能体方向,Request Order Matters: Cache-History Sensitivity in Selective KV-Cache Reuse for Rolling Agents 发现滚动式智能体在复用 KV 缓存时,请求顺序本身会影响结果,缓存历史敏感性成为工程部署需要正视的问题。多模态方向,Rephrase Before You Act: Characterizing and Mitigating Language Sensitivity in Vision-Language-Action Models 系统刻画了视觉-语言-动作模型对指令措辞的敏感性,并提出通过改写指令来缓解。

差分隐私与不确定性量化中的 Sensitivity

敏感性也是差分隐私的数学基础。Propose-Filter-Release: Scaling Noise to Typical Sensitivity via Private Filtering 提出“提议-过滤-释放”框架,将噪声尺度从最坏情形敏感性扩展到典型敏感性,有望在保证隐私的前提下降低噪声注入带来的精度损失。在医疗场景,When uncertainty quantification fails 指出在类别极度不平衡的临床数据下,选择性预测的不确定性量化存在结构性缺陷并给出修正方案。

当前焦点与观察点

综合来看,关于 Sensitivity 的讨论正从单点的提示词工程问题,扩展到 KV 缓存管理、评测方法论与隐私计算等基础设施层面。值得关注的观察点包括:一是评测社区是否会将敏感性测试纳入标准基准,以避免“措辞即性能”的偏差;二是“典型敏感性”等更精细的隐私分析范式能否被主流差分隐私框架采纳;三是随着长上下文与智能体应用落地,缓存复用与压缩策略的稳定性将成为工程优化的重点方向。对使用者和开发者而言,把敏感性作为可度量的工程指标,而非事后排查的故障,可能是这一波研究最重要的启示。

Coverage

8 on file