THE NEWS DESK
AIニュース
公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。
すべてのニュース
1件新しい順
2013年発売のPS4で90億パラメータLLMをオフライン実行──ドライバを介さずGCN GPUを直接制御するOSS「Garlic LLM」
開発者のLeonardo Alegría氏が公開した「Garlic LLM」は、PS4のGPUでQwen3.5-9Bを動かすホームブリューアプリだ。テキストは31〜39トークン/秒、コードは最大43トークン/秒で、実行中はPCもネット接続も不要。重みは独自のQ4/Q3形式で約4.3GiBに収め、attentionキャッシュを4ビットに落として16Kトークンの文脈を確保する。GoldHEN導入済みのPS4が前提で、配布パッケージは5.7GB、速度の数値は開発者の測定値だ。