Activation-Steering

concept · First seen 2026-05-22 · Last seen 2026-11-06 · 15 mentions

Overview

Activation-Steering(激活引导)是一种通过直接修改大模型内部激活值来控制模型行为的技术,无需重新训练或微调,只需在推理时沿特定方向加减激活向量即可影响模型的拒绝、安全或风格表现。因其成本低、可解释性强,它正成为模型可解释性与安全对齐研究中的热门方向,但同时也暴露出方法脆弱、副作用难以评估等问题。

Activation-Steering 的近期进展

  • Dynamically Scaled Activation Steering:Apple 研究团队提出动态缩放方案,根据输入上下文实时调整引导强度,避免固定强度带来的过度干预或干预不足,提升引导在不同任务上的稳定性。
  • SteerCheck: Activation-Steering审计中的归因特异性和对齐泄漏:该工作指出引导效果可能并非来自设想的方向,存在归因不特异的问题,且安全对齐信息可能泄漏到引导向量中,给审计和评估提出新挑战。
  • Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs:研究量化压缩后的模型中激活引导的剂量-响应关系,发现引导在低精度模型上存在能力代价和失败的不对称性,提示部署环境会显著影响引导效果。
  • Beyond a Single Direction: Chain-of-Thought Disrupts Simple Steering of Refusal:研究发现思维链推理会打破基于单一方向的拒绝行为引导,说明拒绝并非由单一激活方向决定,简单线性引导在推理模型上可能失效。
  • 当前焦点与观察点

    目前围绕激活引导的讨论集中在三个方面。其一是有效性归因:引导带来的行为改变究竟由目标方向驱动,还是混杂了对齐信息等无关因素,SteerCheck 一类审计工具正试图厘清这一点。其二是鲁棒性:量化压缩、思维链推理、推理模型的自适应行为都会削弱简单引导的效果,动态缩放、多方向建模、基于未来行为预测的引导(Predicting Future Behaviors in Reasoning Models Enables Better Steering)等改进方案陆续出现。其三是应用扩展:从 LLM 安全对齐(如 SafeSteer 的局部在线蒸馏)到语音模型的幻觉抑制(Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders),引导技术正被尝试迁移到更多模态与场景。整体来看,激活引导从概念验证走向可靠工程手段仍有距离,方法审计与失效分析将是接下来的观察重点。

    Coverage

    9 on file