AITOP

训练算法

共 3 条相关 AI 资讯
8月21日
10:32
10:32官方账号arXiv cs.LG@Yizhe Chi, Wenyi Li, Deyao Hong, Xiaoqiu Wang, Mingju Gao, Kaisen Yang, Bingxiang He, Youjie Zheng, Calvin Xiao, Qinhuai Na
AI4AI-Bench发布，包含10个训练算法家族的10个研究仓库。测试中，智能体在4小时内重写训练算法，然后重新运行并评分。平均得分0.166，最佳系统达到0.250。测试显示，大多数智能体未改变模型学习方式，而改变模型学习的少数智能体平均得分为0.226。
论文AI4AI-BenchLLM智能体算法设计
推荐理由：AI4AI-Bench为LLM智能体算法设计提供了一个基准测试，展示了智能体在改进训练算法方面的潜力，值得研究者和开发者关注。
原文
7月30日
09:32
09:32官方账号arXiv cs.LG@Nicolas Béreux, Aurélien Decelle, Cyril Furtlehner, Beatriz Seoane
该论文提出并行轨迹回火（Parallel Trajectory Tempering, PTT）训练算法，用于改进能量模型（Energy-Based Models, EBMs）的马尔可夫链蒙特卡洛（MCMC）混合问题。PTT利用优化路径的连续性，在整个学习过程中维持平衡采样，从而在高度多模态且数据稀少的科学数据集上实现稳定快速训练。与持久对比散度（Persistent Contrastive Divergence）相比，PTT的计算成本相当，并能直接估计热化时间、平衡样本和对数似然。在受限玻尔兹曼机（Restricted Boltzmann Machines）实验中，PTT持续超越现有EBM训练方法；在离散表格数据上，它同样优于当前最先进的深度生成模型，生成更高质量的样本且对过拟合和有限数据更具鲁棒性。
论文Energy-Based ModelsParallel Trajectory TemperingRestricted Boltzmann Machines
推荐理由：这篇论文提出了PTT方法，让能量模型训练又快又稳，在RBM上成绩比现有方法好，还能顺便算热化时间，值得看看。
原文
5月11日
11:43
11:43官方账号arXiv cs.AI（学术论文）
该研究提出一种参数重建算法，用于训练脉冲神经网络（SNN）。由于脉冲函数的不可微性，传统SNN训练依赖代理梯度，引入逐层累积的近似误差。研究团队扩展了并行前馈阈值网络的凸化理论至并行递归阈值网络，将SNN作为其结构化特例纳入框架。新算法在多个任务中作为独立方法或与代理梯度训练结合均表现出一致且显著的优势。消融实验验证了其数据扩展性和对模型配置的鲁棒性，表明该方法在大规模SNN训练中具有潜力。
论文脉冲神经网络凸优化训练算法
推荐理由：该工作从理论层面解决了SNN训练中梯度近似误差累积的难题，提出的参数重建算法在多个基准任务上验证了有效性，为大规模低能耗SNN训练提供了新路径。
原文