教授LLMs字符串匹配、回溯和错误恢复以推导位操作谜题的基和真值表

Teaching LLMs String Matching, Backtracking, and Error Recovery to Deduce Bases and Truth Tables for the Combinatorially Exploding Bit Manipulation Puzzles

精选理由

这篇论文用字符串相似度和回溯搜索替代了算术逻辑,让LLM在位操作谜题上验证精度超过96%,比赛第7名,方法很巧妙。

AI 摘要

这篇论文介绍了在NVIDIA Nemotron Model Reasoning Challenge中解决Bit Manipulation Puzzles的创新算法。该任务要求发现隐藏的逻辑规则并应用于新输入,但LLMs通常因复杂布尔逻辑模拟而幻觉。作者提出放弃算术逻辑,转而使用字符串相似性、结构化搜索和自主错误恢复。他们将逻辑门推导重构为基选择任务,利用最小比特翻转来隔离基并推导真值表,无需复杂算术。通过回溯DFS和错误恢复,结合比特分词和交互推理SFT,该方法在验证集上达到96%以上的准确率,最终获得比赛第7名。

AI 翻译 · 中文

这篇论文介绍了在NVIDIA Nemotron Model Reasoning Challenge中解决Bit Manipulation Puzzles的创新算法。该任务要求发现隐藏的逻辑规则并应用于新输入,但LLMs通常因复杂布尔逻辑模拟而幻觉。作者提出放弃算术逻辑,转而使用字符串相似性、结构化搜索和自主错误恢复。他们将逻辑门推导重构为基选择任务,利用最小比特翻转来隔离基并推导真值表,无需复杂算术。通过回溯DFS和错误恢复,结合比特分词和交互推理SFT,该方法在验证集上达到96%以上的准确率,最终获得比赛第7名。

arXiv cs.AIThis paper presents our algorithmic innovations for the NVIDIA Nemotron Model Reasoning Challenge, focusing on Bit Manipulation Puzzles. In this task, the objective is to discover a hidden logical rule transforming input