AITP
精选全部 AI 动态AI 日报Agent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOP

逻辑稳定性

共 1 条相关 AI 资讯
7月21日
12:32
12:32官方账号arXiv cs.AI@Brian K Chen
该论文通过在精确标注的三段论推理基准上添加软前缀,测试了Qwen3.6-35B-A3B MoE、Qwen3-8B和Gemma 4 31B三个模型在逻辑判断中的稳定性。软前缀能覆盖大多数正确答案,并在16组模型-方向-分割比较中,比随机控制前缀的翻转率高出37到99个百分点。Qwen3.6 MoE在不同措辞和提示变化下的翻转率维持在72%至90%,而Gemma的有效前缀翻转率为54%至56%,远低于匹配随机前缀的不到1%。诊断测试表明,主导效应是对某一种答案含义的广泛偏好,而非固定的符号强制或跨任务可靠转移的运算,且这种偏差形式因模型而异。
论文软前缀三段论推理Qwen

推荐理由:这篇论文用软前缀测试了三段论推理,发现模型答案很容易被带偏,Qwen和Gemma的稳定性差异很大,值得做推理研究的读一下。
原文
精选全部日报登录