腾讯混元提出 Stem 稀疏注意力算法，首字延迟降低 3.6 倍
长文本推理的延迟痛点终于有了低成本解法——Stem 用 25% 算力实现近无损精度，做 LLM 推理优化的团队可以直接用开源代码实测，128K 上下文下首字延迟降低 3.6 倍的效果值得关注。
IT之家原文
#ICML-26
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「ICML-26」标签的资讯、产品与论文，按刊登时间排，新的在上。
6月5日
长文本推理的延迟痛点终于有了低成本解法——Stem 用 25% 算力实现近无损精度，做 LLM 推理优化的团队可以直接用开源代码实测，128K 上下文下首字延迟降低 3.6 倍的效果值得关注。