Microsoft 发布 Fast Decision API,p90 延迟低于 Jev
Microsoft 也上了 decision API,p90 延迟比 Jev 还快,做实时决策的同学可以对比 OpenAI 那个试试。
Microsoft 发布了 Fast Decision API,面向低延迟决策场景。Bindu Reddy 在 X 上表示,此前 OpenAI 的 decision API 是他们用过的最佳方案。据其测试,Microsoft 的新 API 在 p90 延迟指标上比 Jev 更快。Reddy 预计接下来还会有 4-5 家 AI 实验室推出各自的 decision API 版本。
Exciting To See Microsoft Release A Fast Decision API
So far, we have found OpenAI's decision API to be the best!
It's faster than Jev for p90 latencies. I expect 4-5 more AI labs to release their versions shortly https://t.co/xn6RXHDhA2