10:50
官方账号arXiv cs.AI@Kefeng Duan, Dewu Zheng, Yanlin Wang, Xiwen Wang, Ensheng Shi, Xilin Liu, Yuchi Ma, Jiachi Chen, Mingwei Liu, Zibin Zheng
精选73°
推荐理由：DeepSoftwareAnalytics团队推出PTA-IRT，能更高效评估软件工程代理，比传统方法更准确。
PTA-IRT
共 1 条相关 AI 资讯
9月2日
10:50
研究人员提出PTA-IRT框架，通过融合过程和结果信号来评估软件工程代理。该框架利用历史执行轨迹作为特权信息，包括探索的上下文、尝试的编辑和解决路径。在四个SWE基准测试中，PTA-IRT在低校准预算下始终优于先前的IRT基线。代码和数据已在GitHub公开。