Loading

general · First seen 2026-05-22 · Last seen 2026-10-17 · 47 mentions

Overview

Loading 在 AI 智能体语境下,指的是把工具定义、技能说明等上下文信息加载进模型上下文窗口的过程,它直接决定 token 消耗与响应成本。随着智能体接入的工具和技能数量膨胀,'何时加载、加载多少'正从工程细节变成影响产品经济性的关键设计问题。

Loading 技术的近期进展

  • Workday 在 arXiv 发布了关于 Agent Skills 渐进式加载的实测研究,验证了'先加载概要、按需加载细节'的策略对智能体执行效果与 token 开销的实际影响,为这一方向提供了少见的工业界量化证据(原文)。
  • OpenRouter 推出 Tool Search 功能,将工具定义改为按需加载:智能体先检索需要的工具再载入其定义,从而省下大量原本要注入每个请求的输入 token,这是把 loading 决策交给检索机制的代表案例(原文)。
  • 相关的模型层研究也在推进。上海人工智能实验室的论文探讨了训练阶段的优化问题;另有工作改进了 IKPLS 算法的计算路径,涉及 X 旋转与 Y 负载(loading)的直接计算,虽属统计学习范畴,但同样围绕'减少不必要的计算与数据装载'这一主题(IKPLS 论文)。
  • 当前焦点与观察点

    目前讨论集中在两点的权衡:一是按需 loading 能显著降低输入 token 成本,但多一层检索和延迟加载可能影响智能体选择正确工具的准确率,Workday 的实测数据正是针对这类取舍;二是渐进式加载的粒度如何切分——按技能、按工具还是按字段,尚无公认标准。

    值得观察的信号包括:主流智能体平台是否会将 Tool Search 式的按需加载变成默认架构;以及渐进式加载在长任务、多工具场景下的失败模式是否会催生评测基准。对开发者而言,loading 策略已与提示词工程、上下文管理并列,成为成本优化的常规手段之一。

    Coverage

    10 on file
    Loading · AI 话题观测|AI热报