directional

general · First seen 2026-05-29 · Last seen 2026-10-14 · 14 mentions

Overview

directional(方向性)是机器学习研究中描述向量、更新或表征在空间中“朝向”性质的术语,近年从几何直觉逐渐演变为解释和改进模型行为的一类研究视角。它与传统的幅值(magnitude)分析相对,关注参数更新、特征表示和信息流动的方向结构,在强化学习探索、Transformer 表征演化、泛化理论等方向均有落地。

Directional 方法的近期进展

  • Disentangling Representation Evolution in Transformers through Directional Decomposition:通过方向分解把 Transformer 的表征演化拆开分析,试图厘清不同方向分量在训练过程中各自承担的角色,为理解大模型内部机制提供了新的切面。
  • Directional Constraints for Efficient Exploration in Safe Reinforcement Learning:在安全强化学习中引入方向性约束来引导探索,让智能体在满足安全限制的同时减少无效试错,提升探索效率。
  • On the Role of Directionality in Structural Generalization:从理论层面讨论方向性对结构化泛化的作用,探讨模型能否泛化到训练分布之外的结构,方向信息可能是关键变量之一。
  • 相关的还有 EDEN:在嵌入空间注入锚定噪声改进 RLVR 探索,虽然不直接以 directional 命名,但同样属于“在表征空间中控制探索方向”的思路。
  • 当前焦点与观察点

    目前 directional 相关研究集中在三个问题:一是把方向性作为可解释工具,拆解大模型内部表征如何随训练变化;二是把它变成约束或正则手段,改善强化学习的探索效率与安全性;三是在泛化理论中检验方向信息是否是结构化泛化的必要条件。争议点在于,方向性分析多在特定任务或小规模设置下验证,能否推广到大规模预训练模型仍缺乏共识。值得观察的是,随着机制可解释性研究升温,directional decomposition 这类几何化分析框架是否会成为社区的标准工具之一。

    Coverage

    10 on file