12:42
12:42
arXiv: DeepSeek@Natalia Tarasova, Enrique Balp-Straffon, Aleksei Iancheruk, Yevhenii Sielskyi, Nikita Kozodoi, Liam H. Byrne, Jack Butler, Dayuan Jiang, Marcin Czelej, Andrew Ang, Yash Shah, Roi Blanco, Sergei Ivanov SWE-InfraBench 是一个新基准,用于评估大语言模型在云基础设施即代码(IaC)任务上的表现。与现有基准不同,它聚焦于 AWS CDK 的增量代码修改,而非从头生成整个代码库。数据集来自数十个真实 IaC 代码库,要求模型根据自然语言指令修改现有代码,并通过测试用例验证。评估结果显示,当前最强模型 Sonnet 3.7 的成功率仅为 34%,而推理模型 DeepSeek R1 只有 24%,表明 LLM 在云基础设施代码领域仍有显著局限。该数据集已在 Kaggle 上公开。
推荐理由:云基础设施开发者终于有了一个贴近真实工作流的评估基准——SWE-InfraBench 测试的是增量修改而非从头写代码,做 IaC 或 DevOps 的团队值得关注,看看当前模型在 AWS CDK 上的真实表现。
12:15
12:15
arXiv cs.AI@Sondos Mahmoud Bsharat, Jiacheng Liu, Xiaohan Zhao, Tianjun Yao, Xinyi Shang, Yi Tang, Jiacheng Cui, Ahmed Elhagry, Salwa K. Al Khatib, Hao Li, Salman Khan, Zhiqiang Shen OpAI-Bench 是一个操作引导的基准,用于研究从纯人类写作到 AI 辅助编辑的渐进式文本转换。它从人类文档出发,在四种领域下构建九个连续修订版本,涵盖五种 AI 编辑操作,并保留多粒度(文档、句子、词元、片段)的作者归属信息。实验发现,AI 文本的可检测性不仅受 AI 编辑比例影响,还与编辑操作、领域和累积修订历史有关,且混合作者的中期版本比纯人类或重度 AI 编辑的端点更难检测。该基准填补了现有检测基准仅关注最终输出的空白,为分析 AI 辅助写作的可检测性提供了受控测试平台。代码和基准已开源。
推荐理由:做 AI 文本检测研究的团队终于有了一个能模拟真实渐进编辑过程的基准——它揭示了混合作者文本比纯 AI 文本更难检测的反直觉现象,值得点开看看实验设计。
12:09
12:09
arXiv cs.AI@Shangheng Du, Xiangchao Yan, Jinxin Shi, Zongsheng Cao, Shiyang Feng, Zichen Liang, Boyuan Sun, Tianshuo Peng, Yifan Zhou, Xin Li, Jie Zhou, Liang He, Bo Zhang, Lei Bai MLEvolve 是一个基于大语言模型的自进化多智能体框架,用于端到端的机器学习算法自动发现。它通过 Progressive MCGS 扩展树搜索,利用图参考边实现跨分支信息流动,并采用熵驱动的渐进调度从广泛探索转向聚焦利用。引入的 Retrospective Memory 结合冷启动领域知识库和动态全局记忆,支持任务特定经验的检索与复用。在 MLE-Bench 评估中,MLEvolve 在 12 小时预算(标准运行时的一半)下,平均奖牌率和有效提交率等多个维度达到最先进水平,并在数学算法优化任务上超越 AlphaEvolve 等专门方法。
推荐理由:MLEvolve 解决了现有 MLE 智能体在长周期任务中信息隔离、无记忆搜索和缺乏分层控制的问题,做自动化机器学习算法发现的团队可以直接用它来加速实验迭代,值得关注。
仅展示最近 2000 条内容。更早的内容请查阅 AI 日报存档(侧边栏 → AI 日报 → 顶部「往期日报」)。