10:39arXiv cs.AI@Andhika Bernard Lumbantobing, Hokky Situngkir精选该研究借鉴印尼GASING算术教学法,将左到右的计算步骤序列化为自然语言思维链(CoT)监督数据,训练了一个86M参数的GPT-2模型。模型仅使用下一个词预测目标,无需强化学习或奖励优化,在保留问题上达到80%以上准确率,性能可与更大模型竞争。通过注意力掩码、残差流探测等机制分析发现,模型先内化程序化路径,随后发展出类似心算的关联检索能力。这项工作表明,基于教学法的针对性训练能以较小规模实现强算术能力。论文算术推理思维链CoT教学法GPT-2小模型推荐理由:做小模型算术推理的团队可以借鉴这种教学法思路——用人类教学步骤替代复杂强化学习,86M参数就能达到大模型水平,值得一试。原文
10:33arXiv: DeepSeek@Malia Barker, Bishal Lakha, Edoardo Serra, Francesco Gullo研究者提出了一种自动算法,通过生成数值重映射攻击来测试大语言模型在算术推理中的泛化能力。该方法自动推导问题的符号表示,生成约束数值映射并重新计算答案,通过确定性编辑实现问题变换。在GSM8K、MAWPS和MultiArith数据集上测试DeepSeek-R1、Gemma4和GPT-OSS模型,发现GSM8K上条件准确率下降12.16至25.82个百分点,而MAWPS和MultiArith更稳定。结果表明数值重映射鲁棒性强烈依赖于数据集结构,GSM8K即使保留推理程序仍敏感,而较短更规则的数据集更鲁棒。论文LLM算术推理鲁棒性数值重映射GSM8K1 个信源在谈推荐理由:做LLM评估和推理优化的团队会关心——GSM8K的脆弱性说明基准测试可能高估了模型的真实推理能力,建议关注数值变化对模型泛化的影响。原文