Loading 在 AI 智能体语境下,指的是把工具定义、技能说明等上下文信息加载进模型上下文窗口的过程,它直接决定 token 消耗与响应成本。随着智能体接入的工具和技能数量膨胀,'何时加载、加载多少'正从工程细节变成影响产品经济性的关键设计问题。
Loading 技术的近期进展
当前焦点与观察点
目前讨论集中在两点的权衡:一是按需 loading 能显著降低输入 token 成本,但多一层检索和延迟加载可能影响智能体选择正确工具的准确率,Workday 的实测数据正是针对这类取舍;二是渐进式加载的粒度如何切分——按技能、按工具还是按字段,尚无公认标准。
值得观察的信号包括:主流智能体平台是否会将 Tool Search 式的按需加载变成默认架构;以及渐进式加载在长任务、多工具场景下的失败模式是否会催生评测基准。对开发者而言,loading 策略已与提示词工程、上下文管理并列,成为成本优化的常规手段之一。