技巧83°
笔记本跑7000亿参数GLM：无GPU，把SSD当显存用
笔记本跑7000亿参数GLM！无GPU也行? SSD当显存用火爆GitHub
精选理由
有人在GitHub开源了个叫Colibrì的玩法，不用GPU，把SSD当显存就能在笔记本上跑GLM的7000亿参数模型，感兴趣的可以照着README敲6行命令试试。
开源项目Colibrì登上GitHub热榜，让没有GPU的笔记本也能跑7000亿参数的GLM大模型。其核心思路是把SSD当显存用，通过在内存与硬盘之间做分层加载来运行超大模型。项目的README已提供6行命令的安装与运行步骤。作者称该方案让消费级硬盘承担了以往需要显存才能完成的推理任务。
原文 · 量子位
笔记本跑7000亿参数GLM！无GPU也行? SSD当显存用火爆GitHub
GitHub现在最火热的大模型开源小蜂鸟Colibrì是个啥？
