精选理由
hwchase17聊了模型路由和合议制的区别,吐槽路由被夸大,推荐先做成本控制。适合想了解多模型调度策略的人。
LangChain创始人hwchase17对比了模型路由(route to one best model)和模型合议制(pass to many models并聚合响应),认为前者主要为了成本,后者提升前沿性能。他引用@OpenRouter的Fusion和@SakanaAILabs的fugu作为合议制案例,并提到@nlarusstone将其用于棘手生物问题。作者对模型路由效果存疑,认为prompt caching和用户反馈缺失是问题,更倾向先实施成本控制(如LangChain的按模型设置支出上限)。Dax补充了用户需培养模型感知的观点。
AI 翻译 · 中文
LangChain创始人hwchase17对比了模型路由(route to one best model)和模型合议制(pass to many models并聚合响应),认为前者主要为了成本,后者提升前沿性能。他引用@OpenRouter的Fusion和@SakanaAILabs的fugu作为合议制案例,并提到@nlarusstone将其用于棘手生物问题。作者对模型路由效果存疑,认为prompt caching和用户反馈缺失是问题,更倾向先实施成本控制(如LangChain的按模型设置支出上限)。Dax补充了用户需培养模型感知的观点。
have been thinking a bunch about model routing and related things current thoughts here, would love feedback: 1/ there is a difference between "model routing" and "model council" "model routing&q…