ECO：面向注意力-FFN 分离式 LLM 服务的能耗配置优化方法
一篇降本干货：ECO 在 Qwen、DeepSeek 的分离式部署上实测省 40.5% 能耗，做 GPU 推理优化的可以看看方法细节。
#LLM服务
共 2 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「LLM服务」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月7日
6月5日
Vortex：高效可编程稀疏注意力系统，加速AI Agent探索
稀疏注意力是长上下文 LLM 服务的关键瓶颈，Vortex 让 AI Agent 和研究者能快速实验新算法，做 LLM 推理优化的团队可以直接用它提升吞吐量，值得关注。