09:07官方账号arXiv cs.LG@Julius Steiglechner, Lucas Mahler, Gabriele LohmannElenchos是一个基于lambda演算系统的生成式评估框架,用于测试大语言模型(LLM)的溯因推理能力。评估发现,前沿和中端模型在检测系统是否被修改时表现较好,但识别具体规则修改的能力显著不足。在交互突变场景下,模型性能大幅下降,通常只能恢复部分突变。初步证据显示,增加推理时间预算仅带来微小改进,收益递减。论文LLMElenchos溯因推理推荐理由:这篇论文用Elenchos框架测了LLM的溯因推理,发现模型能发现异常但猜不准具体改了啥,挺有意思的。原文稍后读已读值得跟进有用关注 LLM