Chinese content新流式决策模型：边读边答，文档提取比 Opus 5.5 便宜 75 倍
一个能边收文本边给答案、还带置信度的模型，提取文档只要 150ms，号称比 Opus 5.5 便宜 75 倍，送 20M 免费tokens。
#streaming inference
4 stories · 0 in 7 days · 1 in 30 days
Stories, products and papers tagged "streaming inference", newest first.
Nov 3
Aug 24
Models10:09
Chinese contentTurboBias 2.0：高效ASR系统的流式上下文偏置想了解如何提升ASR系统准确率的同时保持高效？试试TurboBias 2.0，它为多用户个性化上下文偏置提供了新方案。
May 20
May 14
Chinese contentStateful Transformers 实现流式推理 5.9 倍加速
流式推理场景（如实时数据监控、金融交易、对话系统）的开发者终于有了降低延迟的可行方案——把预填充移出关键路径，查询延迟与上下文大小解耦。做高吞吐低延迟推理服务的团队值得关注这个新范式。