Chinese content墨尔本实验室 i14labs 推出 Sugar Glider 架构，实现 O(1) 恒定显存推理
墨尔本的 i14labs 搞了个 Sugar Glider 架构，把开源大模型改成固定显存的 O(1) 推理，号称几小时就能转换，还测过 1 万亿参数的模型。做推理部署的人值得关注，长上下文成本可能被大幅压下来。
#i14labs
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "i14labs", newest first.
Nov 10
