Chinese content分析式持续学习中 ETF 目标不可行,Equinorm 后处理改善长尾分类
想在持续学习里用神经塌缩那套几何的可以看看:作者证明 ETF 目标加分析式更新其实没用,但对权重做 Equinorm 后处理在长尾场景提升明显,100:1 不平衡下尾部类准确率直接涨 32 个点。
想在持续学习里用神经塌缩那套几何的可以看看:作者证明 ETF 目标加分析式更新其实没用,但对权重做 Equinorm 后处理在长尾场景提升明显,100:1 不平衡下尾部类准确率直接涨 32 个点。
这篇论文用理论证明语言模型里的类内分散不是瑕疵,而是上下文信息存储,且跨14个模型验证了跨模型可预测性,很硬核。