AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：低内存训练×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月3日
10:17
10:17arXiv cs.AI@Xinyang Liu, Xuanyu Liang, Shiqi Ding, Boyang Li, Zhiqiang Que, Jiayang Li, Guosheng Hu
精选
FFR（Forward-Forward for Regression）是首个将Forward-Forward（FF）算法成功扩展到回归任务的方法。FF算法通过局部逐层优化替代反向传播（BP），但原本只适用于分类任务，因为回归的连续目标空间缺乏自然“对立样本”。FFR提出三项创新：基于有序竞争的好度函数、分层阶梯架构（浅层学习粗粒度排序、深层细化回归）以及带不确定性估计的分层预测。在五个真实回归基准上，FFR平均恢复BP 98.6%的精度，峰值训练内存仅为BP的27%（深度8）和8%（深度32），每轮迭代时间约为BP的72%，显著优于所有无BP的竞品。
论文Forward-Forward算法回归任务反向传播替代生物启发学习低内存训练
推荐理由：做回归任务的深度学习研究者终于有了FF算法的可用方案——FFR在保持低内存优势的同时逼近BP精度，资源受限场景或生物启发学习的团队值得关注。
原文