09:07
官方账号arXiv cs.LG@Julius Steiglechner, Lucas Mahler, Gabriele Lohmann
推荐理由：这篇论文用Elenchos框架测了LLM的溯因推理，发现模型能发现异常但猜不准具体改了啥，挺有意思的。
Elenchos
共 1 条相关 AI 资讯
7月15日
09:07
Elenchos是一个基于lambda演算系统的生成式评估框架，用于测试大语言模型（LLM）的溯因推理能力。评估发现，前沿和中端模型在检测系统是否被修改时表现较好，但识别具体规则修改的能力显著不足。在交互突变场景下，模型性能大幅下降，通常只能恢复部分突变。初步证据显示，增加推理时间预算仅带来微小改进，收益递减。