11:36
官方账号arXiv cs.LG@Jian Xu, Delu Zeng, John Paisley, Qibin Zhao
推荐理由：这篇论文发现LLM写的概率统计程序常有隐藏错误，单元测试根本抓不到，但用贝叶斯校准检测准确率高达97%，修复效果也远超传统方法。
后验预测检查
共 1 条相关 AI 资讯
7月1日
11:36
该研究针对LLM编写的概率程序（NumPyro、Stan、Pyro），采用贝叶斯工作流（后验预测检查、模拟校准、采样器诊断R-hat/ESS）作为验证器。在14种误指定类型、10个模型族的200个实例上，校准方法检测AUC达0.97（2%假阳性率下召回率88%），而单元测试召回率为0%。修复方面，使用校准反馈的LLM修复循环使GPT-5.1通过率从33%升至92%，Claude从75%升至100%，单元测试反馈甚至比无反馈更差。对LLM从头编写的程序，15%-47%存在统计误指定且单元测试全部漏检，校准引导修复显著优于LLM-as-judge等方法。