JEPA4Japan · チュートリアル
JA

第32章 — 等方ガウス事前分布はいつ強すぎるのか

1,687文字 5分で読めます #LeWorldModel#World Models#JEPA

低い内在次元と局所幾何の歪みを検討し、Sub-JEPA、TC-LeWM、QQWorldを、追加の独立再現を要する後続研究として扱います。

コース進捗 コース目次 48レッスン中 48件を公開中

第0部　読み方ガイド：私たちは何を学ぶのか

  1. 01 第0章 — はじめる前に 公開中

第1部　世界モデル：エージェントの頭の中にある実験場

  1. 02 第1章 — なぜエージェントには「未来を想像する」力が必要なのか 公開中
  2. 03 第2章 — なぜ次の画像をそのまま予測しないのか 公開中
  3. 04 第3章 — JEPAの発想：画面の複製ではなく意味を予測する 公開中
  4. 05 第4章 — 1枚の図でLeWMを理解する 公開中

第2部　画面を状態に変える：LeWMのモデル構造

  1. 06 第5章 — 軌跡データ：モデルにとって世界は画像集ではない 公開中
  2. 07 第6章 — 視覚エンコーダー：各フレームに「状態パスポート」を発行する 公開中
  3. 08 第7章 — 動力学予測器：頭の中で時間を前へ進める 公開中
  4. 09 第8章 — 完全な順伝播：1バッチを最初から最後まで追う 公開中

第3部　モデルの抜け道を防ぐ：予測損失とSIGReg

  1. 10 第9章 — 最も危険な近道：表現崩壊 公開中
  2. 11 第10章 — 予測損失：モデルはどのように次の一歩を学ぶのか 公開中
  3. 12 第11章 — SIGRegの直感：表現空間に「呼吸」をさせる 公開中
  4. 13 第12章 — 必要最小限の数学 公開中
  5. 14 第13章 — オリジナルLeWMのエンドツーエンド学習の仕組み 公開中
  6. 15 第14章 — すぐに表現崩壊しないモデルを訓練する 公開中

第4部　モデルを行動に使う：潜在空間での計画

  1. 16 第15章 — 目標条件付き計画：「今いる場所」から「行きたい場所」へ 公開中
  2. 17 第16章 — 潜在ユークリッド距離：便利だが、常に信頼できるとは限らない 公開中
  3. 18 第17章 — CEM：勝ち抜き方式で行動を探索する 公開中
  4. 19 第18章 — MPC：モデルを一度に長く信じすぎない 公開中
  5. 20 第19章 — 長期ロールアウト：小さな誤差が大事故へ育つまで 公開中
  6. 21 第20章 — 最小のLeWMプランナーをゼロから実装する 公開中

第5部　エンジニアリング再現：論文から動くシステムへ

  1. 22 第21章 — 公式リポジトリと実験環境 公開中
  2. 23 第22章 — 最初の実験：TwoRoomのスモークテスト 公開中
  3. 24 第23章 — 2つ目の実験：PushTを再現する 公開中
  4. 25 第24章 — 世界モデルを公平に評価する方法 公開中
  5. 26 第25章 — 失敗診断マニュアル 公開中

第6部　LeWMは何を学んだのか

  1. 27 第26章 — 線形プローブ：潜在状態にはどの物理量が含まれるのか 公開中
  2. 28 第27章 — 潜在空間を「健康診断」する 公開中
  3. 29 第28章 — 期待違反：モデルは「あり得ない出来事」に驚くのか 公開中
  4. 30 第29章 — 「世界を理解する」を厳密に語るには 公開中

第7部　「予測が正確」でも「計画がうまくいかない」のはなぜか

  1. 31 第30章 — 訓練目的と計画目的のあいだにある亀裂 公開中
  2. 32 第31章 — 大域的には表現崩壊していなくても、タスクに必要な動力学が保たれるとは限らない 公開中
  3. 33 第32章 — 等方ガウス事前分布はいつ強すぎるのか 現在のレッスン
  4. 34 第33章 — 長期計画：より遠くを予測するか、より賢く計画するか 公開中
  5. 35 第34章 — 位置の距離からタスクの進捗へ 公開中
  6. 36 第35章 — マルチタスク、実ロボット、視覚的外乱 公開中
  7. 37 第36章 — 理論的な境界：真の状態はいつ同定できるのか 公開中

第8部　再現者から研究者へ

  1. 38 第37章 — 信頼できるLeWM改良実験を設計する 公開中
  2. 39 第38章 — 実行可能な12の研究課題 公開中
  3. 40 第39章 — LeWM研究の未解決問題 公開中

付録　数学・実装・再現・査読のための参照資料

  1. 41 付録A — 最低限必要な数学ツールキット 公開中
  2. 42 付録B — PyTorch実装クイックリファレンス 公開中
  3. 43 付録C — テンソル形状の完全一覧 公開中
  4. 44 付録D — 実験設定カード 公開中
  5. 45 付録E — 論文タイムラインとエビデンスレベル 公開中
  6. 46 付録F — 用語集 公開中
  7. 47 付録G — 再現チェックリスト 公開中
  8. 48 付録H — 専門家査読チェックリスト 公開中

まず大きな絵

  1. 点が一つ崩壊は簡単です。
  2. 広げるSIGReg はガウス型の影を求めます。
  3. 道も確かめる丸い雲でも扉を隠せます。
集団の形を整える規則は、すべての状態が同じになるのを防げます。しかし、それだけで潜在距離が物理・トポロジー・到達可能性になるわけではありません。

小さなお話：丸い町

町長が、全住民が一つの広場に押し込まれているのを見つけます。そこで、特別な方向のない丸く広い町を作りました。混雑は解消しました。でも本当の国は、一本の橋で結ばれた二つの島です。きれいな円が、そのまま役立つ旅行地図とは限りません。

これが original LeWorldModel v3 の緊張関係です。SIGReg は、バッチ中の埋め込みを多くの一次元方向へ投影し、標準等方ガウス分布と比べます。定数表現はこの目標を満たせないため、強い anti-collapse 圧力になります。しかし Gaussian と isotropic が述べるのは集団の形です。位置、速度、出入口、行動で通れる経路に意味を付ける規則ではありません。

全体形状の不一致、遅いタスクドリフト、外れた裾サンプルへの弱い補正を分けた三つのスケッチ。

「ガウス不一致」という一言には、別々の仕組みが隠れます。これは教材用の図であり、測定済み埋め込みでも因果証明でもありません。

技術のリュック

次の三つは分けて調べます。

  • 広がり: 平均、共分散、有効ランク、投影後の裾は、集団が潰れたかを問います。
  • 局所的な役立ち方: 時間的近傍、行動分岐、出入口の順位、rollout は、近さが予測と計画に役立つかを問います。
  • 意思決定での役立ち方: closed-loop 成功は、モデル、terminal cost、CEM 探索、実行が一緒に働くかを問います。

低い intrinsic dimension は自動的に collapse ではありません。TwoRoom は大きな画像でも、主な変化はエージェント位置と最近の動きだけかもしれません。LeWM v3 は評価設定で TwoRoom の計画が弱かったと報告し、低い多様性、低い内在次元、高次元ガウス目標との緊張を候補に挙げました。これは著者の仮説であり、証明済み原因ではありません。後の独立 TwoRoom 監査は protocol の影響を示し、follow-up はその checkpoint と protocol で terminal metric の bottleneck を報告しました。どちらも SIGReg 全般の無罪・有罪を決めません。

後続論文は異なる修理を試します。どれも original v3 の部品ではありません。

後続ルート変えるもの証明しないもの
Sub-JEPA有限個の固定ランダム直交部分空間見ていない同時分布やトポロジー
TC-LeWM時間中心化した残差への SIGReg遅い情報が不要であること。根拠は LIBERO behavior cloning で、baseline MPC ではありません
QQWorld投影サンプルを並べ、ガウス分位点と対応。任意の detached cross-batch queue全体ガウス形状がタスクに正しいこと、original LeWM が target を detach すること
SMWManti-collapse として inverse-action 回帰全タスク変数の保存
AC-MTMバッチ内の対照的 action identification重複、no-op、隠れた作用、確率的・離散・hybrid・support 外 action の coverage

係数 lambda は、prediction loss に対して SIGReg が話す音量を変えます。同じ集団目標が役立つが強すぎる／弱すぎるなら調整します。full-space 圧力、遅い task drift、tail 補正、または marginal target の不適合を対照実験が示したときだけ、構造を変えます。

壊してみる

同じ輪状軌道について二つの潜在地図を作ります。地図 A は時間的な隣接と経路をすべて保ちますが、薄い二次元シート上にあります。地図 B は点をシャッフルした後、とても美しい球状ガウス集団になります。

B が分布検査だけに勝ち、A が action-conditioned rollout と計画検査に勝つなら、「よりガウス的」は「より役立つ」ではありません。次に data、encoder、predictor、optimizer、planner、seed、budget を固定し、lambda を sweep してから regularizer だけを一つ変えます。collapse、局所連続性、出入口順位、multi-step prediction、closed-loop planning を一緒に測ります。中間の lambda が最良でも、それは その設定 の trade-off を支持するだけです。

実験レシートと証拠の境界

  • Baseline: LeWorldModel v3、2026-06-03 改訂。凍結 code は 8edfeb3。shared encoder は end-to-end で、stopped target、EMA teacher、pretrained visual encoder はありません。
  • 後続提案: Sub-JEPA v1、SMWM v1、TC-LeWM v2、QQWorld v1、AC-MTM v1。cutoff までに Sub-JEPA、SMWM、AC-MTM の公開 snapshot を確認し、TC-LeWM と QQWorld では確認していません。
  • 監査: TwoRoom reproduction v1、その objective follow-up、tinylab efa9e5d。独立性が確立しているのは、その TwoRoom 再実装と protocol だけで、後続 regularizer や全 suite ではありません。
  • 日付: Sub-JEPA 2026-05-10、SMWM 2026-06-18、QQWorld 2026-07-30、TC-LeWM v2 2026-07-31、reproduction 2026-08-10、objective follow-up 2026-08-13、AC-MTM 2026-08-18。証拠 cutoff は 2026-08-20、Asia/Tokyo。明記しない限り、後続実験は著者報告です。

3つのクイック質問

  1. collapse していないガウス雲でも、なぜ悪い計画地図になれますか？
  2. 正当な低内在次元と破壊的 collapse を分けるには、何を測りますか？
  3. lambda sweep から因果説明を支える前に、何を固定すべきですか？