inlp

general · First seen 2026-07-27 · Last seen 2026-10-23 · 4 mentions

Overview

inlp(Iterative Nullspace Projection,迭代零空间投影)是一种从神经网络隐藏表示中迭代移除特定属性方向的方法,由 Hewitt 等人在 2021 年提出,早期用于探测语言模型中编码的语言学信息,如今在大模型行为控制与安全干预中重新受到关注。其核心思想是:反复找出能线性区分某属性(如人格倾向、敏感内容)的投影方向并将其置零,从而得到“干净”的表示子空间。随着 RLHF 之后的模型干预需求增加,inlp 类投影技术被视为比微调更轻量、更可解释的行为编辑手段。

inlp 相关的近期研究进展

  • PaSS:用迭代零空间投影提取人格子空间,实现 LLM 行为控制 —— 这项工作将 inlp 直接应用于大模型人格维度:通过迭代零空间投影从激活中提取出人格子空间,并在保留有用知识的同时抹除该子空间,从而对模型输出风格与行为进行可控干预,验证了投影方法在工业级 LLM 上的可行性。
  • OLMo-3 检查点研究:RLVR 训练不必然加剧模型的趋同工具行为 —— 该研究基于 OLMo-3 的公开检查点,考察 RLVR(可验证奖励强化学习)训练是否加剧模型行为趋同,结论是不必然。这类跨检查点的表征对比分析,正是 inlp 等探测与投影技术发挥作用的典型场景。
  • AGI-26 开幕日:Gary Marcus 采访、Anil Seth 演讲等 —— 会议层面,代表派(代表论)与意识研究者围绕模型内部表征和“理解”的争论仍在持续,这也间接推动了以 inlp 为代表的可解释性工具被更多研究者关注。
  • 当前焦点与观察点

    当前围绕 inlp 的讨论集中在三点:一是适用边界——迭代投影假设目标属性在表示空间中是近似线性可分的,对非线性纠缠的概念效果有限;二是副作用——移除子空间可能连带损伤与目标属性相关的通用能力,如何在“擦除”与“保留”之间权衡是 PaSS 等工作尝试回答的核心问题;三是与主流对齐方法(RLHF、RLVR)的关系——投影类干预是训练前后的一次性轻量编辑,还是可以嵌入训练过程。随着 OLMo 等开放检查点的模型增多,inlp 类方法有望在跨训练阶段表征分析中获得更系统的实证检验。

    Coverage

    3 on file