在 14.1MB 内存下,Gemma 3 270M 模型成功在激光打印机上运行
约 14MB 内存运行 2.7 亿参数模型:谷歌工程师把 AI 装进打印机,每词元耗时约 60 秒
谷歌工程师把 2.7 亿参数的 Gemma 3 270M 编译成 PostScript 任务,让打印机的 CPU 兼职跑推理,不用改固件不外接硬件。用动态层加载把内存压到 14.1MB,每词元 60 秒慢归慢,但把“模型要跑在 GPU 上”这个预设打破了,玩边缘部署的人值得看看思路。
谷歌 DeepMind 技术团队成员 Omar Sanseviero 于 11 月 17 日在 X 平台展示了一项实验:在仅占用 14.1MB 峰值内存的情况下,让一台理光办公激光打印机运行 Gemma 3 270M(2.7 亿参数)模型,每个输出词元约耗时 60 秒。
实验没有改装打印机固件,也没有外接计算板,而是利用打印机内置的 PostScript 解释器来执行推理。Sanseviero 借助 Gemini 4 Carbon 模型,把一个小型 Transformer 推理引擎与量化后的模型一起编译成一份 PostScript 打印任务。由于打印机内存有限,实验采用动态层加载方式,18 个 Transformer 网络层轮流调入和移出内存。
性能方面,处理输入提示“Read the fine”的预填空阶段耗时约 184 秒,解码单个生成词元耗时 0.1 秒,总计 184.1 秒。整个计算由打印机自身 CPU 执行,答案最终通过打印页面输出。
约 14MB 内存运行 2.7 亿参数模型:谷歌工程师把 AI 装进打印机,每词元耗时约 60 秒
IT之家 11 月 20 日消息,谷歌 DeepMind 技术团队成员奥马尔 · 圣塞维耶罗(Omar Sanseviero)于 11 月 17 日在 X 平台发布推文,在只占用 14.1MB 内存的情况下, 成功让办公激光打印机运行 2.7 亿参数的 Gemma 3 270M 模型,每输出一个词元(Token)消耗约 60 秒。 圣塞维耶罗借助谷歌的 Gemini 4 Carbon 模型,探索展示了一个特别实验,将小型 Transformer 推理引擎与量化后的模型编译成一个 PostScript 打印任务。 本次实验没有修改理光打印机固件,也未加装外部计算板,而是利用打印机内置的 PostScript 解释器执行计算,让原本用于描述打印页面的语言承担起运行 AI 的工作。 为充分发挥打印机有限的内存资源,本次实验并未一次性装下整个模型,改为采用动态层加载方式,轮流将模型各层调入、移出内存,该实验运行时峰值占用约为 14.1MB。IT之家附上相关截图如下: 性能输出方面,本次实验处理速度约为每个词元 60 秒(不是每秒 60 个词元)。报道称整个计算发生在打印机内部,由打印机的 CPU 执行 PostScript 程序,再把答案交给打印机打印,模型推理涉及 18 个 Transformer 网络层。 在预填充(prefill)阶段,处理输入提示“Read the fine”耗时约 184 秒,而解码(decode)单个生成词元耗时 0.1 秒,总计 184.1 秒。
This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Gemma 3 270M, PostScript, DeepMind, quantization.
Source attribution: curated from IT之家.