DecagonAI 借助 Together AI 将语音代理成本降低近6倍

DecagonAI 通过与 Together AI 合作，将语音代理每轮对话成本降低近6倍，同时保持实时语音所需的低延迟。他们从闭源模型迁移到微调的开源模型，实现 p95 模型延迟低于400ms。采用自定义投机解码和提示缓存技术，并在 NVIDIA Blackwell 上优化服务部署。模型更新频率达到每周甚至每日，体现了从封闭 API 到开放模型的转变。