7月22日
11:22
11:22官方一手arXiv: DeepSeek@Xin Sun, Daniel Ståhl, Kristian Sandahl, Christoph Kessler
这篇论文通过两个案例研究分析了Claude和DeepSeek的四代模型在SWE-bench Lite上的非功能性质量差异。静态分析显示大多数CodeQL配对差异为零,且无CodeScene比较在Holm校正后显著。CPU时间差异较小且不一致,峰值内存略高但绝对差异很小。整体上,较晚模型解决更多实例,但在共同解决的任务中非功能性指标无一致改进。
推荐理由:这篇研究不只看模型能修复多少问题,还比较了Claude和DeepSeek不同代际的代码质量、CPU时间和内存使用,发现新模型虽修得多但代码质量没明显提升。