Chinese contentARK：为分离式 LLM 推理中的 KV Cache 传输解决路由冲突
KV Cache 传输是网络里的巨流，ECMP 哈希一撞就堵。ARK 只调源端口就能避开，FCT 降了 27.3%，做推理基础设施的可以看看。
#ECMP
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "ECMP", newest first.
Nov 2
KV Cache 传输是网络里的巨流，ECMP 哈希一撞就堵。ARK 只调源端口就能避开，FCT 降了 27.3%，做推理基础设施的可以看看。