Products

Garlic LLM 让越狱 PS4 本地运行 9B 参数模型,每秒最高 43 词元

每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型

Why we picked it

有人把吃灰的 PS4 变成了离线 AI 主机,自己写 GPU 指令跑 9B 模型,速度还不慢。玩硬件、搞本地部署的朋友可以看看他的实现思路,比树莓派方案有意思多了。

开源项目 Garlic LLM 可在越狱版 PlayStation 4 上运行 90 亿参数的本地大语言模型,普通文本生成速度约每秒 31 至 39 个词元,生成代码时最高达每秒 43 个词元,全程无需联网。项目由开发者 Leonardo Alegria 创建,由于 PS4 未提供通用 GPU 计算接口,他绕过原本面向游戏图形的驱动,直接向 AMD GCN 架构 GPU 下达自研的底层指令。

Body

为适配 PS4 有限内存,项目采用阿里巴巴 Qwen3.5-9B 模型基座,将权重压缩为 3 位或 4 位量化格式,连同加速数据整体控制在约 4.5 GiB,并使用推测解码(MTP)技术预先采样验证多个词元来提升速度。模型可处理约 16,000 个词元的上下文窗口。

功能上除文字聊天外,语音识别使用 Parakeet TDT 0.6B v3、语音合成使用 Chatterbox,支持语音对话,还可执行 AI 生成的 Python 代码并提供先推理再回答的思考模式;启用语音对话后内存占用增加,文本生成速度降至约每秒 22 个词元。

Original · IT之家

每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型

IT之家 11 月 17 日消息,科技媒体 Gigazine 今天(11 月 17 日)发布博文, 报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token) ,且无需联网即可完成 AI 聊天与语音对话。 该项目由开发者 Leonardo Alegria 创建,技术实现上是绕过 PS4 原本面向游戏图形处理的驱动程序,直接向其 AMD GCN 架构 GPU 下达底层指令,把游戏主机变成一台可运行 AI 推理的“离线电脑”。 由于 PS4 并未提供非官方程序调用的通用 GPU 计算接口或机器学习库,开发者自行开发 GPU 相关指令,让 PS4 游戏主机运行本地模型。 为了适配 PS4 有限的内存,Garlic LLM 采用阿里巴巴的 Qwen3.5-9B 模型基座,并将模型权重压缩为 3 位或 4 位量化格式,连同加速数据整体控制在约 4.5 GiB,并使用“推测解码”(MTP)技术,在生成文本时预先采样并验证多个词元来提高输出效率。 实际测试显示,普通文本生成速度约为每秒 31 至 39 个词元;生成程序代码时最高可达每秒 43 个词元,模型可处理约 16,000 个词元的上下文窗口。 除文字聊天外,Garlic LLM 还支持语音输入与语音对话,分别使用 Parakeet TDT 0.6B v3 进行语音识别,并采用 Chatterbox 进行语音合成。它还可在 PS4 上执行 AI 生成的 Python 代码,并提供“思考模式”,让模型在回答前先进行推理。不过,启用语音对话会占用更多内存,文本生成速度会降至约每秒 22 个词元。 IT之家附上参考地址 Garlic LLM 官网 leonardo-alegria/garlic-llm

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Products" desk. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include Garlic LLM, PS4, Qwen, local deployment.

Source attribution: curated from IT之家.