12:12
官方一手arXiv: DeepSeek@Martino M. L. Pulici, Cuong Xuan Chu, Evgeny Kharlamov, Zifeng Ding, Volker Tresp, Yunpu Ma
精选
推荐理由：小模型也能提升推理？MADA-RL用LoRA微调1/16参数，让1.5B模型准确率涨2个点，评论家专挑生成器错误来纠正。
MADA-RL
共 1 条相关 AI 资讯
7月21日
12:12
MADA-RL是一个针对参数≤4B紧凑模型的后训练框架，通过LoRA微调少量参数，将模型分为生成器和评论家角色。其核心是反事实评论家优势：动态基线使评论家优化方向为改进生成器共识而非简单复现正确答案。在五个数学推理基准上，DeepSeek-R1-Distill-Qwen-1.5B模型准确率从39.9%提升至41.9%（+2.0点，p<0.001），可训练参数仅为全微调基线的1/16。该方法接近但未超越使用更大数据集的DeepScaleR和STILL-3，分析表明训练后的评论家更擅长纠正生成器错误。