自动数值重映射攻击揭示LLM算术推理脆弱性

研究者提出了一种自动算法，通过生成数值重映射攻击来测试大语言模型在算术推理中的泛化能力。该方法自动推导问题的符号表示，生成约束数值映射并重新计算答案，通过确定性编辑实现问题变换。在GSM8K、MAWPS和MultiArith数据集上测试DeepSeek-R1、Gemma4和GPT-OSS模型，发现GSM8K上条件准确率下降12.16至25.82个百分点，而MAWPS和MultiArith更稳定。结果表明数值重映射鲁棒性强烈依赖于数据集结构，GSM8K即使保留推理程序仍敏感，而较短更规则的数据集更鲁棒。