NS-Attn：用 Newton-Schulz 变换注意力输出提升 ViT 准确率
把 Muon 里那套 Newton-Schulz 迭代搬到注意力输出上，不加参数，ViT 和 Swin 在 CIFAR 上 12 组对比全涨，代价是推理变慢一点。
#Newton-Schulz
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Newton-Schulz」标签的资讯、产品与论文，按刊登时间排，新的在上。
9月24日
把 Muon 里那套 Newton-Schulz 迭代搬到注意力输出上，不加参数，ViT 和 Swin 在 CIFAR 上 12 组对比全涨，代价是推理变慢一点。