inlp(Iterative Nullspace Projection,迭代零空间投影)是一种从神经网络隐藏表示中迭代移除特定属性方向的方法,由 Hewitt 等人在 2021 年提出,早期用于探测语言模型中编码的语言学信息,如今在大模型行为控制与安全干预中重新受到关注。其核心思想是:反复找出能线性区分某属性(如人格倾向、敏感内容)的投影方向并将其置零,从而得到“干净”的表示子空间。随着 RLHF 之后的模型干预需求增加,inlp 类投影技术被视为比微调更轻量、更可解释的行为编辑手段。
inlp 相关的近期研究进展
当前焦点与观察点
当前围绕 inlp 的讨论集中在三点:一是适用边界——迭代投影假设目标属性在表示空间中是近似线性可分的,对非线性纠缠的概念效果有限;二是副作用——移除子空间可能连带损伤与目标属性相关的通用能力,如何在“擦除”与“保留”之间权衡是 PaSS 等工作尝试回答的核心问题;三是与主流对齐方法(RLHF、RLVR)的关系——投影类干预是训练前后的一次性轻量编辑,还是可以嵌入训练过程。随着 OLMo 等开放检查点的模型增多,inlp 类方法有望在跨训练阶段表征分析中获得更系统的实证检验。