NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

2013年発売のPS4で90億パラメータLLMをオフライン実行──ドライバを介さずGCN GPUを直接制御するOSS「Garlic LLM」

開発者のLeonardo Alegría氏が公開した「Garlic LLM」は、PS4のGPUでQwen3.5-9Bを動かすホームブリューアプリだ。テキストは31〜39トークン/秒、コードは最大43トークン/秒で、実行中はPCもネット接続も不要。重みは独自のQ4/Q3形式で約4.3GiBに収め、attentionキャッシュを4ビットに落として16Kトークンの文脈を確保する。GoldHEN導入済みのPS4が前提で、配布パッケージは5.7GB、速度の数値は開発者の測定値だ。

ホームブリューアプリGarlic LLMは、PS4のGPUでQwen3.5-9Bを実行する。READMEと公式サイトによると、テキストの生成は31〜39トークン/秒、コードでは最大43トークン/秒に達し、文脈窓は16Kトークン。音声モードでは音声モデルが投機的デコード用のメモリを使うため、チャットは約22トークン/秒に下がる。実行中にPCもインターネット接続も使わず、音声入出力とMicroPythonの実行も本体だけで処理する。

PS4はホームブリューアプリに計算用APIも機械学習ライブラリも提供しない。そこでこのアプリはGPUと直接やり取りする。行列積(4ビット重み)、attention、正規化の各処理をOpenCL Cで書いたカーネルとして用意し、LLVMでGCNアーキテクチャ向けにコンパイルする。通常ならグラフィックスドライバが生成するPM4コマンドパケットをアプリ自身が書いて、カーネルをGPUに発行する。重みは「Garlic」メモリ、つまりGPUが直接読むVRAM領域に置く。プロジェクト名はここから来た。

図解PS4のGPUを直接制御する流れ
  1. 01 カーネル

    OpenCL C

    4ビット重みの行列積、attention、正規化をカーネルとして実装(shaders/)

  2. 02 コンパイル

    LLVM

    GCNアーキテクチャ向けにコンパイル。Zig同梱のclangがCコードも処理

  3. 03 発行

    PM4パケット

    ドライバが生成するはずの低レベルコマンドをアプリが自前で書く

  4. 04 高速化

    MTP最大2トークン

    Qwen3.5のMTP headが先読みし、本体モデルが1パスで検証する投機的デコード

garlic-llmリポジトリREADME「How it works」(2026-11-17確認)から作成。構成は開発者の説明。

約6GBのメモリに収める工夫

重みはこのアプリ用に作った2形式で保存する。Q4は4ビット重みで、大部分の行列と出力headに使い、9Bモデルの本体は4.32GiBになる。Q3はスケール込みで約3.5ビットで、各層でもっとも大きい2つの行列、MLPのgateとupの射影に使う。すべてをQ4にすると約384MiB余計にかかり、空きメモリが足りないという。attentionのキャッシュも4ビットに量子化し、これで16Kトークンの文脈が収まる。投機的デコードにはQwen3.5のMTP head(0.20GiB)を使う。

図解メモリ制約への対応

制約PS4の空きメモリに収めないと動かない

  • 重みの一部をQ3化

    約3.5ビット/重み

    各層のMLP gate・up射影のみ。すべてQ4なら約384MiB余計で収まらない

  • attentionキャッシュを4ビット化

    16Kトークン

    キャッシュの量子化で長い文脈を確保

  • 重みをVRAMに直接配置

    Garlicメモリ

    GPUが直接読む領域に置く。名称の由来でもある

garlic-llmリポジトリREADME(2026-11-17確認)から作成。数値は開発者の説明。

測定値と動作条件

図解開発者が測定した生成速度(base/SlimのPS4)
  • テキストのチャット

    測定値
    31〜39トークン/秒。16Kトークンの文脈
  • コードの生成

    測定値
    最大43トークン/秒
  • 音声モードのチャット

    測定値
    約22トークン/秒。音声モデルが投機的デコード分のメモリを使うため
  • Thinkモード

    測定値
    回答前の推論に約30秒。既定ではオフ
  • PS4 Pro

    測定値
    25〜45トークン/秒(利用者の報告)。開発者自身は未検証

garlic-llmリポジトリREADMEと公式サイト(2026-11-17確認)。base/Slim、ファームウェア11.52での開発者測定で、独立したベンチマーク検証はない。

動作にはGoldHENを導入したPS4が必要で、READMEはbase/Slim、ファームウェア11.52で検証したと書く。PS4 Slimの14.00とPS4 Proの12.02で動いたという報告は利用者からのものだ。パッケージは約5.7GBでモデルを同梱し、Hugging Faceのgarlic-llm/garlic-llm-ps4(2026年11月11日作成、公開)から配布する。インストールには本体に約6GB、パッケージを本体ディスクに置くなら12GBの空きが必要だ。音声入力はNVIDIAのParakeet TDT 0.6B v3(25言語)、音声出力はResemble AIのChatterboxで、7言語に対応する。

OpenAI互換のAPIも用意されている。チャット画面でL3を押すと起動し、`/v1/chat/completions`などをLAN内に提供する。ただしREADMEは、このAPIはソースコードにはあるがパッケージのバージョン1.19には未収録で、次のパッケージに同梱される予定だと書く。認証は本体の`/data/garlic_api_key.txt`にキーを置いた場合だけ有効になり、そのファイルがなければLAN上の誰でもAPIを使えるとREADMEは明記する。

ライセンスと読むときの留保

アプリのコードはGPL-3.0で、重みと同梱コンポーネントはそれぞれ別のライセンスが続く。Qwen3.5-9BはAlibaba QwenのApache-2.0、ChatterboxはMIT、ParakeetはCC-BY-4.0だ。ビルドにはOpenOrbis PS4 Toolchainを使い、変換スクリプトも`pc/`に公開されている。開発者は147ページの技術ガイドも公開している。

留保として、速度の数値は開発者の測定で、トークン計測の条件や量子化による品質への影響の独立評価はまだない。GoldHENが前提で、未改造のPS4で動くとは書かれておらず、Sony公認の製品でもない。「PS4のGPUで言語モデルを動かすのは初めてか」というFAQへの答えは「知る限りでは」という著者の説明にとどまる。報道はTom's HardwareとGIGAZINEが2026年11月17日に伝えた。旧世代GPUへの汎用移植は、PS4固有の命令系とメモリ構成への依存が大きいとREADME自身が示す設計からも読み取れる。

出典

  1. leonardo-alegria/garlic-llm README一次資料。実行速度(31〜39トークン/秒、コード最大43、音声約22)、16K文脈、Q4/Q3の使い分けと約384MiBの差、attentionキャッシュの4ビット化、PM4コマンドの自前生成とLLVMコンパイル、MTPによる投機的デコード、GoldHENとファームウェア11.52での検証、PS4 Slim 14.00とPro 12.02は利用者報告、APIのv1.19未収録と認証なし時のLAN公開、重みファイルの容量(q4s 4.32GiB・MTP 0.20GiB)、ライセンス(GPL-3.0、Qwen Apache-2.0、Parakeet CC-BY-4.0、Chatterbox MIT)(2026-11-17確認)
  2. Garlic LLM公式サイト一次資料。バージョン1.19、パッケージ5.7GB、速度と文脈窓の表記、対応機種(PS4/Slim/Pro)と測定条件(base/Slim・fw 11.52)、音声7言語・文字起こし25言語、実行中はネットワーク不要(2026-11-17確認)
  3. Hugging Face garlic-llm/garlic-llm-ps4一次資料。パッケージ配布リポジトリの作成2026-11-11T13:56Z・公開状態・ベースモデルQwen/Qwen3.5-9B・最終更新2026-11-16(APIで2026-11-17確認)
  4. garlic-llmリポジトリのメタデータ(GitHub API)一次資料。作成2026-11-11T17:39:37Z、最終push 2026-11-16T08:29:01Z、GPL-3.0、説明文「A 9-billion-parameter language model running on a PS4 GPU. Offline.」(2026-11-17確認)
  5. Tom's Hardwareの報道二次資料。報道の存在確認(2026-11-17、HTTP 200)。数値は本文を採用せずREADME・公式サイトの開発者測定値を優先
  6. GIGAZINEの報道二次資料。報道の存在確認(2026-11-17、HTTP 200)。掲載日2026-11-17

出典の確認日 2026.11.17

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む