curves

general · First seen 2026-05-29 · Last seen 2026-11-11 · 23 mentions

Overview

curves(曲线)在 AI 领域通常指训练曲线、测试时扩展曲线等用于刻画模型性能随算力、数据或步骤变化的函数关系,是评估和预测大模型能力的重要工具。近期围绕曲线的研究集中在两个方向:一是如何让曲线的结论更可信,二是如何用曲线做更细粒度的评估与比较。

Curves 的近期研究进展

  • 测试时扩展曲线的可信度问题受到关注。arXiv 论文《Cheap to Draw, Expensive to Trust: Certifying Test-Time Scaling Curves》指出,画一条测试时扩展曲线很容易,但要证明曲线反映真实规律却很贵,论文提出对这类曲线进行认证的方法。
  • 在特征重要性评估方面,论文《Optimizing the Area Under Insertion and Deletion Curves for Ranking Relative Feature Importance》提出以插入/删除曲线下面积作为优化目标,改进相对特征重要性排序的忠实性。
  • 曲线对比也被用于硬件评测。据 pandaily 报道《Moore Threads MTT S5000 Embodied RL Curves Match Mainstream GPUs (r=0.976); Dual-Arm ~92%》,摩尔线程 MTT S5000 在具身强化学习任务中的训练曲线与主流 GPU 的相关系数达到 0.976,双臂任务成功率约 92%,用曲线相似度作为国产 GPU 与主流产品对标的核心证据。
  • 曲线方法还在扩展到神经科学场景,论文《PHINN-EEG: Topological Time-Series Analysis of Dream-State EEG》用动态 Betti 曲线对梦境状态脑电信号做拓扑时序分析,用于梦内容分类。
  • 当前焦点与观察点

    围绕 curves 的讨论正从"画出曲线"转向"论证曲线可信"。Scaling curve 长期被用于预判模型投入产出,但样本噪声、评测集泄漏和 cherry-picking 都可能让曲线失真,认证类方法试图给出统计意义上的保证。

    另一个观察点是曲线作为跨系统比较语言的兴起:从 GPU 对标到特征归因,把复杂行为压缩为一条可比曲线的做法越来越普遍,但压缩本身会丢失信息。对使用者的提醒是,看到曲线结论时仍需关注其认证方式和实验条件,而非只看趋势形状。

    Coverage

    9 on file