流式编排相关 AI 资讯 · AI 热点

8月4日

09:23

09:23

官方一手arXiv: DeepSeek@Qunhui Zhang

AiFlow是一种Token原生响应式编排模型，将Provider增量归一化为Context<T>事件并通过有向流图传播。每个节点由Node Guardian管理，声明并执行队列上限、并发、排序、溢出策略与重试规则。微基准测试基于DeepSeek轨迹回放（30次）并与LangGraph基线对比，结果显示AiFlow不改变模型TTFT，但将应用TTFPT降低70.9%-94.7%。运行时队列深度也控制在声明边界内，较无界策略减少93.7%-96.5%的MaxQ。实现代码通过FIT Framework仓库公开提供。

论文 AiFlow LangGraph RAG

推荐理由：AiFlow将LLM输出按token流式编排，实测应用延迟比LangGraph降70.9%-94.7%，队列占用也大幅减小。