Primary sourcearXiv cs.AI
View sourceEvent ·Single source
ICA 认证机制:为 σ 加权后训练加上有效性闸门
论文提出一种 per-sample σ 加权的 SFT/RL 混合后训练方法 DIAA(Dual-Implicit Adversarial Amplification),在锚数据中删除所有 Python fence 后,模型仍会在 MATH-500 的 29% 提示上输出未执行的 Tool-Integrated Reasoning,是 vanilla GRPO 的三倍。配对干预实验显示,抑制 TIR 可恢复 10.6 个百分点的准确率,且基于 0%-TIR 教师锚训练的学生仍会以 45.8% 的比例输出 TIR。为此论文提出 Intervention-Certified Amplification(ICA),用配对 rollout 的目标端证据对 σ 加以闸控,将 TIR 比例降到 13.8% 和 11.2%,并把 MATH-500 准确率从 47.5% 提升到 48.7% 和 49.3%,无需重调即可迁移到 GSM8K。
Current read
这篇 arXiv 论文讲了个挺反直觉的坑:训练时删掉的坏行为会换个形式回来。作者用配对干预把问题量化,再提出 ICA 闸门修好,做后训练的值得看看
2 sources33° AI heatLast updated 2026/10/24 19:49:59
Evidence
2 sourcesRelated source 1OpenBMB
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.