Chinese content在 14.1MB 内存下,Gemma 3 270M 模型成功在激光打印机上运行
谷歌工程师把 2.7 亿参数的 Gemma 3 270M 编译成 PostScript 任务,让打印机的 CPU 兼职跑推理,不用改固件不外接硬件。用动态层加载把内存压到 14.1MB,每词元 60 秒慢归慢,但把“模型要跑在 GPU 上”这个预设打破了,玩边缘部署的人值得看看思路。
IT之家Source
谷歌工程师把 2.7 亿参数的 Gemma 3 270M 编译成 PostScript 任务,让打印机的 CPU 兼职跑推理,不用改固件不外接硬件。用动态层加载把内存压到 14.1MB,每词元 60 秒慢归慢,但把“模型要跑在 GPU 上”这个预设打破了,玩边缘部署的人值得看看思路。