Projection

general · First seen 2026-05-22 · Last seen 2026-10-23 · 31 mentions

Overview

Projection(投影)在人工智能语境下,指将高维向量或表示映射到低维或特定子空间的数学操作,是深度学习模型结构、表示干预与优化算法中的基础组件。从 Transformer 输出层到模型行为调控,再到在线学习理论,投影都处在核心位置。近期多项研究从不同方向推进了这一概念的应用边界。

Projection 的近期进展

  • Primus Projection:单机仿真加自动调优,替代千卡分布式训练试错:DeepSeek 相关的这项工作提出以单机仿真配合自动调优来替代大规模分布式训练中的反复试错,降低了对千卡集群的依赖,属于训练系统层面的工程创新。
  • Projection Agents:用潜在动作空间实现图组合优化RL的泛化与扩展:该研究将投影用于强化学习的动作空间设计,通过潜在动作空间让图组合优化模型获得更好的泛化与扩展能力,说明投影结构本身可以成为算法泛化的关键机制。
  • Extracting Persona Subspaces Through Iterative Nullspace Projection For Modulation:这项工作用迭代零空间投影从大模型中提取人格相关的子空间并加以调控,属于可解释性与模型行为干预方向,代表投影作为"定位与编辑模型内部表示"工具的趋势。
  • 约束在线凸优化中OGD+Projection算法的累积约束违反下界:理论侧的研究分析了在线梯度下降加投影算法在约束违反上的下界,为投影类优化方法提供了更严格的理论刻画。
  • 当前焦点与观察点

    投影研究呈现两条并行路线:一是把投影当作模型架构和干预手段,如子空间提取、动作空间压缩;二是作为优化算法的约束处理机制,持续被理论工作检验。两条路线的共同点是把高维问题降维到可控结构中,但二者目标不同,前者偏工程与可解释性,后者偏数学保证。

    值得注意的是,"投影"一词也在经典制图学领域出现变化:联合国正推动淘汰沿用 457 年的墨卡托投影法世界地图(IT之家),以更准确反映真实比例。这与 AI 领域的投影并无直接关联,但都指向同一个主题——如何在表达复杂现实时选择合适的映射方式。后续观察点包括:投影类干预方法能否在大模型对齐中规模化落地,以及投影依赖的优化算法在约束学习中的实用性边界。

    Coverage

    10 on file
    Projection · AI 话题观测|AI热报