05:36Anthropic@AnthropicAIAnthropic 在 X 上发布更正声明,指出 Claude Opus 4 的约 3 倍平均速度提升是从 2025 年 5 月开始的,而非之前误称的 2024 年 5 月。该评估自 2024 年 9 月才存在,但他们对更早模型进行了回溯测试,发现 2024 年 5 月的模型没有任何加速。这一修正澄清了 Claude Opus 4 性能提升的时间线,对关注模型迭代速度的开发者有参考价值。AI模型Claude Opus 4Anthropic模型性能速度提升时间线修正10 个信源在谈推荐理由:Anthropic 主动修正了 Claude Opus 4 性能提升的时间点,做模型选型或依赖速度指标的开发者需要更新认知,建议关注官方后续的详细评估。原文
19:11arXiv: DeepSeek@Joanna Szych, Anne Schwerk该论文提出了一种树状折叠评估方法,用于评估LLM生成代码的正确性、质量和可用性。研究者基于一个复杂的计算机科学项目构建了正确性基准,并结合代码质量验证和开发者结构化审查。他们用该方法评估了GPT-4.1、DeepSeek-V3-0324和Claude Opus 4三个模型,发现开发者审查能揭示代码生产就绪状态等标准基准无法捕获的洞察。这表明仅靠正确性测试不足以全面评估LLM代码生成能力。论文代码生成评估基准GPT-4.1DeepSeek-V3-0324Claude Opus 4推荐理由:该研究为LLM代码生成评估提供了更全面的方法论,强调了开发者反馈的重要性,对模型选择和改进实践具有参考价值。原文