Chinese contentvLLM 生态新增 d3-turbo:智能路由多模态决策模型
vLLM 团队放出了 d3-turbo,做智能路由用的决策模型,比 d3 flash 快 15 倍,还登顶了 Jev Decision Index,做路由的可以看看。
vLLM 团队放出了 d3-turbo,做智能路由用的决策模型,比 d3 flash 快 15 倍,还登顶了 Jev Decision Index,做路由的可以看看。
有人拿 d3-turbo 和 Jev 1.14 玩打鸭子游戏,本地单卡 258ms 决策比走 API 的 414ms 快一大截,还附了本地部署链接。