#Sugar Glider

1 stories · 1 in 7 days · 1 in 30 days

i14labs 1 KV cache 1 开源模型 1 推理优化 1

Stories, products and papers tagged "Sugar Glider", newest first.

Nov 10

Models Builders03:49

Chinese content墨尔本实验室 i14labs 推出 Sugar Glider 架构，实现 O(1) 恒定显存推理

墨尔本的 i14labs 搞了个 Sugar Glider 架构，把开源大模型改成固定显存的 O(1) 推理，号称几小时就能转换，还测过 1 万亿参数的模型。做推理部署的人值得关注，长上下文成本可能被大幅压下来。

#Sugar Glider #i14labs #推理优化 #KV cache

kimmonismus@kimmonismusSource