クロスモーダルの整合(アラインメント)は、マルチモーダル表現を作る標準的な目的関数だ。CLIP系の対照学習やJEPA系の潜在予測がその代表で、画像と文章を同じ空間に引き寄せる。論文はこの前提を問い直す。モダリティの間で情報量が非対称なとき、整合だけを目的にすると各モダリティが単独で持つ情報が失われる、という問題整理だ。視覚質問応答は分かりやすい例で、密な画像の細部を完全には拾わない短い質問が画像を選択的に絞り込むため、整合が保存する内容とタスクが必要とする内容がずれる。
「そのため整合が保存するものは、タスクが必要とするものではない。」
so what alignment preserves is not what the task requires.
理論の部分では、部分情報分解(PID)の言葉で「整合のみの学習が保持するのは最大でも冗長情報原子Red(Z; X1, X2)までで、固有情報Unqと相乗情報Synを消す」というAlignment Redundancy Boundを示す。この上限は完全な整合を目的とする場合に限定された議論で、既存のすべてのマルチモーダルモデルへの性能保証ではない。
提案のD-JEPAは、潜在表現を整合の対象になる共有コアと、モダリティごとの固有ファイバーに分解する。共有部分は文脈からの潜在予測で揃え、固有部分は文脈付きマスク予測と非対称な部分空間間の独立性抑制で学習する。固有部分同士の連携(相乗)までは抑えない構成だ。
凍結結合(上限)
- プローブ正答率
- 45.57%
- 属性
- 42.83%
- 計数
- 37.08%
- 存在比較
- 52.49%
- その他
- 37.96%
D-JEPA
- プローブ正答率
- 39.61%
- 属性
- 29.69%
- 計数
- 32.41%
- 存在比較
- 51.80%
- その他
- 34.46%
整合+再構成
- プローブ正答率
- 27.96%
- 属性
- 10.61%
- 計数
- 24.35%
- 存在比較
- 45.59%
- その他
- 23.55%
整合のみ
- プローブ正答率
- 21.25%
- 属性
- 0.43%
- 計数
- 4.88%
- 存在比較
- 48.90%
- その他
- 4.80%
arXiv HTML版Table 2(3シードの平均、%)。D-JEPAの整合のみに対する改善は+18.36ポイント(95%ペアドbootstrap CI [17.21, 19.44])。シナジーギャップ(結合表現の正答率から視覚・文章単体の良い方を引いた差)は整合のみ−1.56ポイント、D-JEPA +0.54ポイント、凍結結合の上限+3.55ポイント。D-JEPAは凍結特徴の直接結合45.57%には届かない。実験値はすべて著者の測定。
実験はCLEVRで、エンコーダーには凍結したDINOv2 ViT-S/14(4×4パッチグリッド)とBERT-base(トークン長32)を使う。比較対象を含む全条件でエンコーダーの構造、パラメータ数、潜在次元(4成分で256)をそろえた公平比較の設定で、3つの乱数シードの平均と標準偏差を報告する。整合のみの学習は、二値で答えられる存在・比較問題(48.90%)以外のカテゴリーで崩壊する。属性0.43%、計数4.88%、その他4.80%だ。D-JEPAは同じカテゴリーで29.69%、32.41%、34.46%、存在・比較51.80%まで回復する。
合成ベンチマークでも同じ傾向を確認している。整合のみの学習は相乗因子のプローブで48.33%にとどまり、多モーダルシナジーギャップは−3.20ポイントと負になる。D-JEPAは84.20%、ギャップ+33.13ポイントで、凍結バックボーンの上限(85.87%、+35.00ポイント)にほぼ一致した。論文はこれを「整合のみで起きる相乗ギャップの反転が解消された」と説明する。
公開実装と留意点
実装はGitHubリポジトリVixel2006/D-JEPAでMITライセンス(Copyright (c) 2026 The PID-JEPA Authors)として公開されている。READMEは「コードは意図的に小さい。関心ごとに1モジュール、単一のCLI、再学習なしで図の大半を再生成できるreport.jsonスキーマ」と説明し、実験CLI(pidjepa)に合成データ生成モード(--mode synthetic)とCLEVRモード、シード指定(--seeds 3)を備え、テスト一式を含む。リポジトリは2026年8月8日に作成され、最終pushは2026年11月12日(GitHub APIのメタデータ)だった。
読む際の留保は多い。プレプリントで査読はなく、単著で所属の記載もない。CLEVRはBlenderレンダリングの合成画像を用いる診断用データセットで、結果は自然画像や一般的な視覚質問応答の性能を示さない。理論は完全整合の目的に限定され、ロボットやエージェントのセンサー統合への応用は論文内の仮説の域を出ない。実験値は著者の測定で、第三者の再現はまだない。学習データの記載には不整合があり、本文は「12,000画像・質問ペア(3,000シーン×6質問)」と述べるが、3,000×6は18,000になるため、総数は本次資料では確定できない。
出典
- arXiv:2611.16639 Asymmetric Multimodal Learning with Decomposed JEPAs要旨。Alignment Redundancy BoundとD-JEPAの構造、CLEVRでの改善の概要(2026-11-12投稿)
- arXiv HTML版(v1、Table 1・Table 2を含む)プローブ正答率、カテゴリー別内訳、シナジーギャップ、エンコーダー設定、学習データ記載の一次数値
- GitHub Vixel2006/D-JEPA(README、LICENSE、APIメタデータ)MITライセンス、単一CLI(pidjepa)、合成データ生成とテストの公開実装
出典の確認日 2026.11.15