12:58arXiv: DeepSeek@Arslan Bisharat, Brian Ortiz, Eric Spencer, Khushboo Bhadauria, TaiNing Wang, George K. Thiruvathukal, Konstantin Laufer, Mohammed Abuhamad精选TLA+是亚马逊、微软等公司用于工业验证的形式化语言,但将自然语言转化为正确的TLA+规范仍需专家经验。本文首次系统评估了30个LLM(含8个模型家族)在205个TLA+规范上的表现,使用SANY解析器和TLC模型检查器验证。结果显示,LLM最高语法正确率26.6%,但语义正确率仅8.6%,且成功案例全部来自渐进式提示。模型大小与质量无关,例如DeepSeek r1:8b在所有策略上优于其70B版本,表明推理对齐对形式语言更重要。代码专用模型因主流语言训练的负迁移而表现更差。研究识别了五种幻觉类别,均与训练数据偏差有关。论文TLA+形式化验证LLM评估推理模型幻觉分析推荐理由:形式化验证团队终于有了LLM能力的基准数据——当前模型无法可靠生成TLA+规范,但渐进式提示和推理对齐是突破口,做形式化方法或分布式系统验证的开发者值得关注。原文