ホームブリューアプリGarlic LLMは、PS4のGPUでQwen3.5-9Bを実行する。READMEと公式サイトによると、テキストの生成は31〜39トークン/秒、コードでは最大43トークン/秒に達し、文脈窓は16Kトークン。音声モードでは音声モデルが投機的デコード用のメモリを使うため、チャットは約22トークン/秒に下がる。実行中にPCもインターネット接続も使わず、音声入出力とMicroPythonの実行も本体だけで処理する。
PS4はホームブリューアプリに計算用APIも機械学習ライブラリも提供しない。そこでこのアプリはGPUと直接やり取りする。行列積(4ビット重み)、attention、正規化の各処理をOpenCL Cで書いたカーネルとして用意し、LLVMでGCNアーキテクチャ向けにコンパイルする。通常ならグラフィックスドライバが生成するPM4コマンドパケットをアプリ自身が書いて、カーネルをGPUに発行する。重みは「Garlic」メモリ、つまりGPUが直接読むVRAM領域に置く。プロジェクト名はここから来た。
- 01 カーネル
OpenCL C
4ビット重みの行列積、attention、正規化をカーネルとして実装(shaders/)
- 02 コンパイル
LLVM
GCNアーキテクチャ向けにコンパイル。Zig同梱のclangがCコードも処理
- 03 発行
PM4パケット
ドライバが生成するはずの低レベルコマンドをアプリが自前で書く
- 04 高速化
MTP最大2トークン
Qwen3.5のMTP headが先読みし、本体モデルが1パスで検証する投機的デコード
garlic-llmリポジトリREADME「How it works」(2026-11-17確認)から作成。構成は開発者の説明。
約6GBのメモリに収める工夫
重みはこのアプリ用に作った2形式で保存する。Q4は4ビット重みで、大部分の行列と出力headに使い、9Bモデルの本体は4.32GiBになる。Q3はスケール込みで約3.5ビットで、各層でもっとも大きい2つの行列、MLPのgateとupの射影に使う。すべてをQ4にすると約384MiB余計にかかり、空きメモリが足りないという。attentionのキャッシュも4ビットに量子化し、これで16Kトークンの文脈が収まる。投機的デコードにはQwen3.5のMTP head(0.20GiB)を使う。
制約PS4の空きメモリに収めないと動かない
- 重みの一部をQ3化
約3.5ビット/重み
各層のMLP gate・up射影のみ。すべてQ4なら約384MiB余計で収まらない
- attentionキャッシュを4ビット化
16Kトークン
キャッシュの量子化で長い文脈を確保
- 重みをVRAMに直接配置
Garlicメモリ
GPUが直接読む領域に置く。名称の由来でもある
garlic-llmリポジトリREADME(2026-11-17確認)から作成。数値は開発者の説明。
測定値と動作条件
テキストのチャット
- 測定値
- 31〜39トークン/秒。16Kトークンの文脈
コードの生成
- 測定値
- 最大43トークン/秒
音声モードのチャット
- 測定値
- 約22トークン/秒。音声モデルが投機的デコード分のメモリを使うため
Thinkモード
- 測定値
- 回答前の推論に約30秒。既定ではオフ
PS4 Pro
- 測定値
- 25〜45トークン/秒(利用者の報告)。開発者自身は未検証
garlic-llmリポジトリREADMEと公式サイト(2026-11-17確認)。base/Slim、ファームウェア11.52での開発者測定で、独立したベンチマーク検証はない。
動作にはGoldHENを導入したPS4が必要で、READMEはbase/Slim、ファームウェア11.52で検証したと書く。PS4 Slimの14.00とPS4 Proの12.02で動いたという報告は利用者からのものだ。パッケージは約5.7GBでモデルを同梱し、Hugging Faceのgarlic-llm/garlic-llm-ps4(2026年11月11日作成、公開)から配布する。インストールには本体に約6GB、パッケージを本体ディスクに置くなら12GBの空きが必要だ。音声入力はNVIDIAのParakeet TDT 0.6B v3(25言語)、音声出力はResemble AIのChatterboxで、7言語に対応する。
OpenAI互換のAPIも用意されている。チャット画面でL3を押すと起動し、`/v1/chat/completions`などをLAN内に提供する。ただしREADMEは、このAPIはソースコードにはあるがパッケージのバージョン1.19には未収録で、次のパッケージに同梱される予定だと書く。認証は本体の`/data/garlic_api_key.txt`にキーを置いた場合だけ有効になり、そのファイルがなければLAN上の誰でもAPIを使えるとREADMEは明記する。
ライセンスと読むときの留保
アプリのコードはGPL-3.0で、重みと同梱コンポーネントはそれぞれ別のライセンスが続く。Qwen3.5-9BはAlibaba QwenのApache-2.0、ChatterboxはMIT、ParakeetはCC-BY-4.0だ。ビルドにはOpenOrbis PS4 Toolchainを使い、変換スクリプトも`pc/`に公開されている。開発者は147ページの技術ガイドも公開している。
留保として、速度の数値は開発者の測定で、トークン計測の条件や量子化による品質への影響の独立評価はまだない。GoldHENが前提で、未改造のPS4で動くとは書かれておらず、Sony公認の製品でもない。「PS4のGPUで言語モデルを動かすのは初めてか」というFAQへの答えは「知る限りでは」という著者の説明にとどまる。報道はTom's HardwareとGIGAZINEが2026年11月17日に伝えた。旧世代GPUへの汎用移植は、PS4固有の命令系とメモリ構成への依存が大きいとREADME自身が示す設計からも読み取れる。
出典
- leonardo-alegria/garlic-llm README一次資料。実行速度(31〜39トークン/秒、コード最大43、音声約22)、16K文脈、Q4/Q3の使い分けと約384MiBの差、attentionキャッシュの4ビット化、PM4コマンドの自前生成とLLVMコンパイル、MTPによる投機的デコード、GoldHENとファームウェア11.52での検証、PS4 Slim 14.00とPro 12.02は利用者報告、APIのv1.19未収録と認証なし時のLAN公開、重みファイルの容量(q4s 4.32GiB・MTP 0.20GiB)、ライセンス(GPL-3.0、Qwen Apache-2.0、Parakeet CC-BY-4.0、Chatterbox MIT)(2026-11-17確認)
- Garlic LLM公式サイト一次資料。バージョン1.19、パッケージ5.7GB、速度と文脈窓の表記、対応機種(PS4/Slim/Pro)と測定条件(base/Slim・fw 11.52)、音声7言語・文字起こし25言語、実行中はネットワーク不要(2026-11-17確認)
- Hugging Face garlic-llm/garlic-llm-ps4一次資料。パッケージ配布リポジトリの作成2026-11-11T13:56Z・公開状態・ベースモデルQwen/Qwen3.5-9B・最終更新2026-11-16(APIで2026-11-17確認)
- garlic-llmリポジトリのメタデータ(GitHub API)一次資料。作成2026-11-11T17:39:37Z、最終push 2026-11-16T08:29:01Z、GPL-3.0、説明文「A 9-billion-parameter language model running on a PS4 GPU. Offline.」(2026-11-17確認)
- Tom's Hardwareの報道二次資料。報道の存在確認(2026-11-17、HTTP 200)。数値は本文を採用せずREADME・公式サイトの開発者測定値を優先
- GIGAZINEの報道二次資料。報道の存在確認(2026-11-17、HTTP 200)。掲載日2026-11-17
出典の確認日 2026.11.17