自己回帰型の画像生成は、画像を離散トークンの列にして順に予測する。列が長いほど表現力は保てるが生成は遅くなり、空間圧縮を強めると1トークンが担える情報が足りなくなる。拡散モデルが各ステップで全空間位置を並列更新するのに対し、この逐次性がレイテンシの差として現れる。北京大学・Meituan Longcatらの研究チームは、このトレードオフに対し「圧縮率を上げた分だけ、1位置に持たせる量子化コードのグループを拡大する」という設計で対処した。
「product quantizationに基づき、名目情報予算が固定のとき、グループサイズは軸ごとの空間圧縮率に対して二次的に拡大すべきであることを示す。」
Based on product quantization, we show that, under a fixed nominal information budget, group size should scale quadratically with the per-axis spatial compression factor.
仕組み――圧縮しても名目情報量を保ち、グループ内は軽い因果で処理する
G-STARの軸ごとの空間圧縮は32倍で、ネイティブの64倍は使わない。実効64倍は、32倍トークンの2×2近傍を1グローバルステップへ損失なしで詰めるパッキングで作る。グローバルステップ数は4分の1になり、1ステップが扱うコード数は4倍(G→4G)になる。大きなグループはグループ内の依存を生むが、G-STARは重い特徴計算を全スロットで並列に実行し、依存の処理だけを最終単層の因果Transformerに任せるsemi-autoregressive decoderでこれを扱う。バックボーンはQwen3系LLMで、テキストto画像、指示による画像編集、画像理解を事前学習とSFTで同じ構成に学習している。
- 01 トークナイザー
32倍圧縮+グループ化
画像を軸ごとに32倍圧縮したトークンへ。1位置にグループG個の量子化コードを持ち、圧縮で失われる名目情報量をグループで補う。
- 02 ロスレスパッキング
2×2を1ステップに
32倍トークンの2×2近傍を1グローバルステップへ詰める。全コードを保持したまま実効64倍のインターフェースになり、グローバルステップ数は4分の1。
- 03 バックボーン
Qwen3ベース
短くなった系列を自己回帰で生成。テキストto画像・指示編集・画像理解を事前学習とSFTで同じ構成に学習。
- 04 Semi-ARヘッド
並列特徴+軽量因果
グループ全スロットの重い特徴計算を1回の並列処理で行い、グループ内の依存だけを最終単層の因果Transformerで処理する。
arXiv:2611.13004(2026-11-08公開v1)の2節・3節とGitHub READMEのOverviewに基づく。実効64倍は64倍の量子化ではなく32倍トークンのパッキングであり、情報の完全な64倍圧縮ではない。学習・推論コードは2026年11月4日公開。
速度――2.5秒の内訳と、2つの異なる比較対象
公表された速度は、1.7BのG-STAR-Flash-1.7Bを1024×1024・バッチ1・BF16で単体のNVIDIA H200上で動かした測定だ。同系統の因果ヘッドbaselineは22.23秒で、semi-autoregressiveヘッドへの置き換えで14.93秒(1.5倍)、CUDA Graphで5.85秒(3.8倍)、カーネル融合で3.37秒(6.6倍)、SGLangによる配信で2.50秒(8.9倍)まで下がったと報告している。一方、論文の要旨が述べる「20倍」は先行の離散自己回帰モデルとの比較で、内訳表の8.9倍とは比較対象が異なる。推論コードは80GBのH100での動作確認が記されており、測定は著者の環境と設定に限られる。
「1024×1024解像度において、先行の離散自己回帰モデルより20倍の高速化を達成し、単体のNVIDIA H200で1枚を2.5秒で生成する。」
At 1024 × 1024 resolution, our model delivers a 20× speedup over prior discrete autoregressive models, generating each image in 2.5 seconds on a single NVIDIA H200.
因果ヘッド比較基準
- レイテンシ
- 22.23秒
- 倍率
- 1.0倍
Semi-ARヘッド
- レイテンシ
- 14.93秒
- 倍率
- 1.5倍
+CUDA Graph
- レイテンシ
- 5.85秒
- 倍率
- 3.8倍
+カーネル融合
- レイテンシ
- 3.37秒
- 倍率
- 6.6倍
+SGLang配信
- レイテンシ
- 2.50秒
- 倍率
- 8.9倍
1024×1024・バッチ1・BF16・単体NVIDIA H200の著者測定値。各段階は直上の構成に積み増し。ウォームアップ3回後の3回計測の中央値。8.9倍は同一リポジトリの因果ヘッドbaseline比で、要旨の「先行の離散自己回帰モデル比20倍」とは比較対象が異なる。
品質――5指標で競争力、圧縮の代償も出る
品質はGenEval、DPG-Bench、PRISM、LongText-Bench、Qwen-Image-Benchの5指標で測った。8BのG-STAR-Pro-8B(32倍圧縮)はGenEval 0.84、DPG 83.38、PRISM 6.98、LongText 0.935、Qwen-Image 50.07で、GenEvalではGPT Image 1やSeedream 3.0の公表値に並び、LongText-Benchでは0.935だった。半面、DPG-Benchは83.38と掲載表の中で低めで、実効64倍のG-STAR-Flash-1.7BはGenEval 0.76に下がる。ヘッド構成のアブレーション(32倍・G=16・512²・Qwen3-1.7B初期化)では、因果ヘッドのGenEval 0.8386に対しsemi-autoregressiveは0.8253でほぼ同等、完全並列は0.7800に落ち、ヘッド単体のレイテンシは6.44秒から3.41秒に半減した。再構成では32倍トークナイザーがImageNet 512²でPSNR 25.12 dB、実効64倍が23.90 dB(Open-MAGVIT2の16倍が23.98 dB)、理解タスクでは8ベンチマーク平均64.7(連続特徴64.6と同等)を報告している。指示編集のGEdit-Bench(英語full set)ではPro-8Bが7.45だった。
公開状況と限界――重みはテキストto画像分のみ、独立検証はまだ
コードは2026年11月4日に公開され、元コードはMITライセンスで、推論と学習(事前学習・SFT)、画像編集、テストを含む。重みはHugging FaceのDAGroup-PKU/G-starにテキストto画像用チェックポイントと対応するトークナイザー、SR2xリファイナーが置かれ、残りのチェックポイントとリファイナーは配布予定が残っている(g8とg16のエクスポートは非互換で、チェックポイントは同時リリースのリファイナーと組み合わせるよう注意書きがある)。数値はすべて著者測定で、第三者による独立再現や本番サービスでの投入は2026年11月13日時点で確認できない。プレプリントであり、査読済みの成果ではない。
出典
- arXiv:2611.13004「G-STAR: Group-Scaled Token Capacity for Deeply Compressed Autoregressive Generation」(要旨ページ)2026-11-08公開v1(arXiv APIで確認)。著者11名(Xu Huang、Ye Huang、Xiaotong Li、Zhengrong Yue、Jialv Zou、Minhao Jing、Haodong Li、Wenhao Yan、Yaxin Luo、Duomin Wang、Daquan Zhou)、cs.CV。要旨の主張(α²のグループ拡大原理、32×と実効64×、semi-autoregressive decoder、5ベンチマーク名、20倍高速化とH200単体2.5秒)。2026-11-13に要旨をAPIで全文確認。
- arXiv:2611.13004 論文HTML版(v1)2026-11-13に全文取得。所属7機関(北京大学・Meituan Longcat・上海交通大学・華中科技大学・香港中文大学・清華大学・MBZUAI)、2節のα²原理と2×2ロスレスパッキング(G→4G、ステップ数1/4)、semi-autoregressive decoderの設計、Table 1の5指標(Pro-8B 0.84/83.38/6.98/0.935/50.07、Flash-1.7B 0.76/80.18/6.81/0.853/46.88)、Table 5のGEdit-Bench(semantic consistency 8.85、overall 7.45)、22.23秒→14.93秒→5.85秒→3.37秒→2.50秒の段階別レイテンシ、ヘッドアブレーション(0.8386/6.44秒、0.7800/1.77秒、0.8253/3.41秒)。
- GitHub DAGroup-PKU/G-STAR README2026-11-13にraw READMEを取得。コード公開日2026年11月4日、元コードのMIT(LICENSEファイルをGitHub APIで確認)、Todo(残りチェックポイント未配布)、Results表(レイテンシ5段階と3回計測中央値、ヘッド比較、PSNR 25.12/23.90 dB、理解64.7対64.6、GEdit 7.45)、推論の80GB H100動作確認、g8/g16の非互換とリファイナーのペアリング注意。
- Hugging Face DAGroup-PKU/G-star(重み配布)2026-11-13にAPIで公開を確認(pipeline_tag text-to-image、MIT表記)。テキストto画像チェックポイントとトークナイザー、SR2xリファイナーの配布状況。
出典の確認日 2026.11.13