10:28
官方一手arXiv: DeepSeek@Donghui Zha, Lingwei Xu, Linxiao Wu, Yixue Dong, Haochen Li
推荐理由：CacheRouter通过双路径设计优化了LLM系统中的工具使用，自动化工具注册和运行时更新，显著提高缓存命中率，降低输入成本，值得一试。
双路径路由架构
共 1 条相关 AI 资讯
8月25日
10:28
本文提出CacheRouter，一种双路径路由设计，将工具选择和交付分配到不同的通道。主模型始终看到一组固定的核心工具，其他工具通过独立的路由通道选择和执行。工具注册自动化，支持运行时更新。在55个功能查询和30轮对话中测试，缓存命中率达到90.99%和95.2%，在DeepSeek定价下，缓存命中输入令牌成本约为缓存未命中令牌的1/30。