11:28官方账号arXiv cs.AI@Achint Mehta90次独立运行构建同一应用,基于14条标准(42分满分)评分。前沿模型接近满分,低成本本地模型仅24-37分。容器部署首次失败率44%,测试工具使成本增加42-68%但未改善功能分数。推理努力从High提升到xHigh,首次完美运行率从28%升至89%,纠正提示减少约5倍,成本仅增9-29%。设计提示将视觉质量从3.0提升至4.5(5分制),但未提升功能分数。论文智能体代码生成推理努力测试工具设计提示推荐理由:这篇研究发现,给编程Agent加测试工具不如直接提升推理能力——首次成功率能从28%冲到89%,成本只多一点点,别被花哨功能忽悠了。原文