15:29
官方账号arXiv cs.AI@Shihong Huang, Shengjie Wang, Hong Ma, Zhou Xu
推荐理由：如果你在多个大模型间做路由，这个框架能直接优化成本和效果，不用先预测质量，实测在10个基准上超过现有方法，还能兼容新模型。
级联路由
共 1 条相关 AI 资讯
8月18日
15:29
RLCascadeRouter提出了一种无需质量估计器的级联路由框架，将路由问题建模为马尔可夫决策过程，动作包括停止和模型选择。该方法直接优化性能-成本目标，避免了传统预测-优化流程中预测误差与决策损失不一致的问题。在包含13个LLM的10个LLMRouterBench基准上，RLCascadeRouter优于强基线，实现了更优的性能-成本权衡。它还能无需重训练地纳入未见模型，消融研究验证了策略组件的有效性。