精选理由
做 SPD 矩阵分类或流形学习的团队值得关注——论文揭示了 SPDNet 核心层的隐藏缺陷，看完你会重新审视自己的网络设计。
该论文研究了用于对称正定矩阵分类的神经网络架构，重点分析了 SPDNet 中的同余层（输入矩阵左右乘以权重矩阵及其转置）。研究发现，对权重矩阵施加的半正交约束严重限制了这些层的表达力：在特定激活函数下，多层架构会坍缩为单层等效网络。这一表达力缺失源于半正交矩阵导致同余层丢失谱多样性，是庞加莱分离定理的直接推论。论文还比较了多种黎曼分类器，讨论了它们与同余层特征图的兼容性。该工作为设计更有效的 SPD 神经网络提供了理论指导。
AI 翻译 · 中文
该论文研究了用于对称正定矩阵分类的神经网络架构，重点分析了 SPDNet 中的同余层（输入矩阵左右乘以权重矩阵及其转置）。研究发现，对权重矩阵施加的半正交约束严重限制了这些层的表达力：在特定激活函数下，多层架构会坍缩为单层等效网络。这一表达力缺失源于半正交矩阵导致同余层丢失谱多样性，是庞加莱分离定理的直接推论。论文还比较了多种黎曼分类器，讨论了它们与同余层特征图的兼容性。该工作为设计更有效的 SPD 神经网络提供了理论指导。
This work studies neural architectures for classifying symmetric positive-definite matrices, focusing on congruence-like layers, in which the input matrix is multiplied on the left and right by a (possibly rectangular) w…