NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

単著のプレプリントD-JEPA、画像と文章の学習表現を「共有」と「固有」に分離――整合のみで崩れるCLEVRの組成推論を+18.36ポイント改善、実装はMITで公開

Yusuf Shihata氏は2026年11月12日、画像と文章の潜在表現を「整合させる共有部分」と「モダリティ固有の部分」に分けて学習するD-JEPA(Decomposed JEPA)をarXivに投稿した(プレプリント)。論文は、共有部分だけを揃える学習では各モダリティの固有情報と相乗情報が失われることを部分情報分解の枠組みで論じ、CLEVRのプローブ実験で整合のみ21.25%に対しD-JEPA 39.61%(+18.36ポイント、95% CI [17.21, 19.44])と報告する。凍結エンコーダー特徴の直接結合45.57%には届かない。実装はMITライセンスのGitHubリポジトリで公開されている。単著・査読前で第三者検証はまだない。

クロスモーダルの整合(アラインメント)は、マルチモーダル表現を作る標準的な目的関数だ。CLIP系の対照学習やJEPA系の潜在予測がその代表で、画像と文章を同じ空間に引き寄せる。論文はこの前提を問い直す。モダリティの間で情報量が非対称なとき、整合だけを目的にすると各モダリティが単独で持つ情報が失われる、という問題整理だ。視覚質問応答は分かりやすい例で、密な画像の細部を完全には拾わない短い質問が画像を選択的に絞り込むため、整合が保存する内容とタスクが必要とする内容がずれる。

「そのため整合が保存するものは、タスクが必要とするものではない。」

so what alignment preserves is not what the task requires.

arXiv:2611.16639の要旨(2026年11月12日投稿)

理論の部分では、部分情報分解(PID)の言葉で「整合のみの学習が保持するのは最大でも冗長情報原子Red(Z; X1, X2)までで、固有情報Unqと相乗情報Synを消す」というAlignment Redundancy Boundを示す。この上限は完全な整合を目的とする場合に限定された議論で、既存のすべてのマルチモーダルモデルへの性能保証ではない。

提案のD-JEPAは、潜在表現を整合の対象になる共有コアと、モダリティごとの固有ファイバーに分解する。共有部分は文脈からの潜在予測で揃え、固有部分は文脈付きマスク予測と非対称な部分空間間の独立性抑制で学習する。固有部分同士の連携(相乗)までは抑えない構成だ。

図解CLEVR結合表現のプローブ正答率(著者実験、3シード平均)
  • 凍結結合(上限)

    プローブ正答率
    45.57%
    属性
    42.83%
    計数
    37.08%
    存在比較
    52.49%
    その他
    37.96%
  • D-JEPA

    プローブ正答率
    39.61%
    属性
    29.69%
    計数
    32.41%
    存在比較
    51.80%
    その他
    34.46%
  • 整合+再構成

    プローブ正答率
    27.96%
    属性
    10.61%
    計数
    24.35%
    存在比較
    45.59%
    その他
    23.55%
  • 整合のみ

    プローブ正答率
    21.25%
    属性
    0.43%
    計数
    4.88%
    存在比較
    48.90%
    その他
    4.80%

arXiv HTML版Table 2(3シードの平均、%)。D-JEPAの整合のみに対する改善は+18.36ポイント(95%ペアドbootstrap CI [17.21, 19.44])。シナジーギャップ(結合表現の正答率から視覚・文章単体の良い方を引いた差)は整合のみ−1.56ポイント、D-JEPA +0.54ポイント、凍結結合の上限+3.55ポイント。D-JEPAは凍結特徴の直接結合45.57%には届かない。実験値はすべて著者の測定。

実験はCLEVRで、エンコーダーには凍結したDINOv2 ViT-S/14(4×4パッチグリッド)とBERT-base(トークン長32)を使う。比較対象を含む全条件でエンコーダーの構造、パラメータ数、潜在次元(4成分で256)をそろえた公平比較の設定で、3つの乱数シードの平均と標準偏差を報告する。整合のみの学習は、二値で答えられる存在・比較問題(48.90%)以外のカテゴリーで崩壊する。属性0.43%、計数4.88%、その他4.80%だ。D-JEPAは同じカテゴリーで29.69%、32.41%、34.46%、存在・比較51.80%まで回復する。

合成ベンチマークでも同じ傾向を確認している。整合のみの学習は相乗因子のプローブで48.33%にとどまり、多モーダルシナジーギャップは−3.20ポイントと負になる。D-JEPAは84.20%、ギャップ+33.13ポイントで、凍結バックボーンの上限(85.87%、+35.00ポイント)にほぼ一致した。論文はこれを「整合のみで起きる相乗ギャップの反転が解消された」と説明する。

公開実装と留意点

実装はGitHubリポジトリVixel2006/D-JEPAでMITライセンス(Copyright (c) 2026 The PID-JEPA Authors)として公開されている。READMEは「コードは意図的に小さい。関心ごとに1モジュール、単一のCLI、再学習なしで図の大半を再生成できるreport.jsonスキーマ」と説明し、実験CLI(pidjepa)に合成データ生成モード(--mode synthetic)とCLEVRモード、シード指定(--seeds 3)を備え、テスト一式を含む。リポジトリは2026年8月8日に作成され、最終pushは2026年11月12日(GitHub APIのメタデータ)だった。

読む際の留保は多い。プレプリントで査読はなく、単著で所属の記載もない。CLEVRはBlenderレンダリングの合成画像を用いる診断用データセットで、結果は自然画像や一般的な視覚質問応答の性能を示さない。理論は完全整合の目的に限定され、ロボットやエージェントのセンサー統合への応用は論文内の仮説の域を出ない。実験値は著者の測定で、第三者の再現はまだない。学習データの記載には不整合があり、本文は「12,000画像・質問ペア(3,000シーン×6質問)」と述べるが、3,000×6は18,000になるため、総数は本次資料では確定できない。

出典

  1. arXiv:2611.16639 Asymmetric Multimodal Learning with Decomposed JEPAs要旨。Alignment Redundancy BoundとD-JEPAの構造、CLEVRでの改善の概要(2026-11-12投稿)
  2. arXiv HTML版(v1、Table 1・Table 2を含む)プローブ正答率、カテゴリー別内訳、シナジーギャップ、エンコーダー設定、学習データ記載の一次数値
  3. GitHub Vixel2006/D-JEPA(README、LICENSE、APIメタデータ)MITライセンス、単一CLI(pidjepa)、合成データ生成とテストの公開実装

出典の確認日 2026.11.15

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む