NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

THE NEWS DESK

AIニュース

公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。

プロダクト

新しいサービスや開発者向けの発表を紹介します。

1件新しい順

  1. プロダクトGarlic LLM出典 6件

    2013年発売のPS4で90億パラメータLLMをオフライン実行──ドライバを介さずGCN GPUを直接制御するOSS「Garlic LLM」

    開発者のLeonardo Alegría氏が公開した「Garlic LLM」は、PS4のGPUでQwen3.5-9Bを動かすホームブリューアプリだ。テキストは31〜39トークン/秒、コードは最大43トークン/秒で、実行中はPCもネット接続も不要。重みは独自のQ4/Q3形式で約4.3GiBに収め、attentionキャッシュを4ビットに落として16Kトークンの文脈を確保する。GoldHEN導入済みのPS4が前提で、配布パッケージは5.7GB、速度の数値は開発者の測定値だ。