AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP

低内存训练

共 1 条相关 AI 资讯
6月3日
10:17
10:17官方账号arXiv cs.AI@Xinyang Liu, Xuanyu Liang, Shiqi Ding, Boyang Li, Zhiqiang Que, Jiayang Li, Guosheng Hu
精选
FFR(Forward-Forward for Regression)是首个将Forward-Forward(FF)算法成功扩展到回归任务的方法。FF算法通过局部逐层优化替代反向传播(BP),但原本只适用于分类任务,因为回归的连续目标空间缺乏自然“对立样本”。FFR提出三项创新:基于有序竞争的好度函数、分层阶梯架构(浅层学习粗粒度排序、深层细化回归)以及带不确定性估计的分层预测。在五个真实回归基准上,FFR平均恢复BP 98.6%的精度,峰值训练内存仅为BP的27%(深度8)和8%(深度32),每轮迭代时间约为BP的72%,显著优于所有无BP的竞品。
论文Forward-Forward算法回归任务反向传播替代生物启发学习低内存训练

推荐理由:做回归任务的深度学习研究者终于有了FF算法的可用方案——FFR在保持低内存优势的同时逼近BP精度,资源受限场景或生物启发学习的团队值得关注。
原文
精选全部日报登录