#Talaria

这篇论文的Talaria系统把工具代理场景下百亿参数模型的p50延迟从1000秒降到189秒，挺实用的加速方案。