JEPA4Japan · チュートリアル
JA

第26章 — 線形プローブ：潜在状態にはどの物理量が含まれるのか

1,008文字 4分で読めます #LeWorldModel#World Models#JEPA

位置、速度、角度、目標距離を線形・MLPプローブで調べ、デコード可能性と実際の利用を区別し、漏洩や因果の過剰解釈を防ぎます。

コース進捗 コース目次 48レッスン中 48件を公開中

第0部　読み方ガイド：私たちは何を学ぶのか

  1. 01 第0章 — はじめる前に 公開中

第1部　世界モデル：エージェントの頭の中にある実験場

  1. 02 第1章 — なぜエージェントには「未来を想像する」力が必要なのか 公開中
  2. 03 第2章 — なぜ次の画像をそのまま予測しないのか 公開中
  3. 04 第3章 — JEPAの発想：画面の複製ではなく意味を予測する 公開中
  4. 05 第4章 — 1枚の図でLeWMを理解する 公開中

第2部　画面を状態に変える：LeWMのモデル構造

  1. 06 第5章 — 軌跡データ：モデルにとって世界は画像集ではない 公開中
  2. 07 第6章 — 視覚エンコーダー：各フレームに「状態パスポート」を発行する 公開中
  3. 08 第7章 — 動力学予測器：頭の中で時間を前へ進める 公開中
  4. 09 第8章 — 完全な順伝播：1バッチを最初から最後まで追う 公開中

第3部　モデルの抜け道を防ぐ：予測損失とSIGReg

  1. 10 第9章 — 最も危険な近道：表現崩壊 公開中
  2. 11 第10章 — 予測損失：モデルはどのように次の一歩を学ぶのか 公開中
  3. 12 第11章 — SIGRegの直感：表現空間に「呼吸」をさせる 公開中
  4. 13 第12章 — 必要最小限の数学 公開中
  5. 14 第13章 — オリジナルLeWMのエンドツーエンド学習の仕組み 公開中
  6. 15 第14章 — すぐに表現崩壊しないモデルを訓練する 公開中

第4部　モデルを行動に使う：潜在空間での計画

  1. 16 第15章 — 目標条件付き計画：「今いる場所」から「行きたい場所」へ 公開中
  2. 17 第16章 — 潜在ユークリッド距離：便利だが、常に信頼できるとは限らない 公開中
  3. 18 第17章 — CEM：勝ち抜き方式で行動を探索する 公開中
  4. 19 第18章 — MPC：モデルを一度に長く信じすぎない 公開中
  5. 20 第19章 — 長期ロールアウト：小さな誤差が大事故へ育つまで 公開中
  6. 21 第20章 — 最小のLeWMプランナーをゼロから実装する 公開中

第5部　エンジニアリング再現：論文から動くシステムへ

  1. 22 第21章 — 公式リポジトリと実験環境 公開中
  2. 23 第22章 — 最初の実験：TwoRoomのスモークテスト 公開中
  3. 24 第23章 — 2つ目の実験：PushTを再現する 公開中
  4. 25 第24章 — 世界モデルを公平に評価する方法 公開中
  5. 26 第25章 — 失敗診断マニュアル 公開中

第6部　LeWMは何を学んだのか

  1. 27 第26章 — 線形プローブ：潜在状態にはどの物理量が含まれるのか 現在のレッスン
  2. 28 第27章 — 潜在空間を「健康診断」する 公開中
  3. 29 第28章 — 期待違反：モデルは「あり得ない出来事」に驚くのか 公開中
  4. 30 第29章 — 「世界を理解する」を厳密に語るには 公開中

第7部　「予測が正確」でも「計画がうまくいかない」のはなぜか

  1. 31 第30章 — 訓練目的と計画目的のあいだにある亀裂 公開中
  2. 32 第31章 — 大域的には表現崩壊していなくても、タスクに必要な動力学が保たれるとは限らない 公開中
  3. 33 第32章 — 等方ガウス事前分布はいつ強すぎるのか 公開中
  4. 34 第33章 — 長期計画：より遠くを予測するか、より賢く計画するか 公開中
  5. 35 第34章 — 位置の距離からタスクの進捗へ 公開中
  6. 36 第35章 — マルチタスク、実ロボット、視覚的外乱 公開中
  7. 37 第36章 — 理論的な境界：真の状態はいつ同定できるのか 公開中

第8部　再現者から研究者へ

  1. 38 第37章 — 信頼できるLeWM改良実験を設計する 公開中
  2. 39 第38章 — 実行可能な12の研究課題 公開中
  3. 40 第39章 — LeWM研究の未解決問題 公開中

付録　数学・実装・再現・査読のための参照資料

  1. 41 付録A — 最低限必要な数学ツールキット 公開中
  2. 42 付録B — PyTorch実装クイックリファレンス 公開中
  3. 43 付録C — テンソル形状の完全一覧 公開中
  4. 44 付録D — 実験設定カード 公開中
  5. 45 付録E — 論文タイムラインとエビデンスレベル 公開中
  6. 46 付録F — 用語集 公開中
  7. 47 付録G — 再現チェックリスト 公開中
  8. 48 付録H — 専門家査読チェックリスト 公開中

まず大きな絵

  1. 凍結1つの named representation を変えない。
  2. episode split隣 frame の leakage を防ぐ。
  3. readout を fitlinear ruler、次に controlled MLP。
  4. “recoverable” と言うuse には別の test が必要。
probe は横付けした scanner です。signal を読みますが engine は運転しません。

trainable probe は frozen LeWM embedding に付き、world model は変わりません。

小さなお話

空港 scanner が suitcase の中の鍵を見つけました。これは、この見方なら scanner が鍵の情報を回収できることを示します。旅行者が鍵を知り、使うことは示しません。

probe も同じです。trained representation を凍結し、latent vector を集め、simulator label を読む小さな readout を学習します。成功が示すのは、この representation、readout、split、distribution での statistical accessibility です。predictor や planner が使う証拠ではありません。

本当のルール

attachment point を encoder output、projected state、predictor input/output のどれかまで書きます。checkpoint、eval mode、crop、resize、normalization、pooling、projector、history construction を凍結します。probe gradient が encoder を更新したら supervised fine-tuning です。

embedding extraction や target normalization より前に、complete episodes を split します。training episodes で fit、validation で hyperparameter selection、untouched test で1回評価します。random frame split で隣 frame を両側へ置くのは independent generalization ではありません。

LeWM v3 の reported targets：

  • TwoRoom：2D agent position。
  • PushT：agent location、block location、block angle。
  • OGBench-Cube：joint position/velocity、end-effector position/yaw、gripper state、block position/quaternion/yaw。

target distance は tutorial extension で、v3 target ではありません。論文は linear/nonlinear probes の MSE と Pearson correlation を報告します。correlation は scale bias があっても高く、average MSE は悪い dimension や rare contact slice を隠せます。

linear probe は simple affine accessibility、MLP は richer hypothesis class への accessibility を試し、shortcut も使えます。両方の capacity、regularization、optimization、tuning budget を公開します。

だまされる反例

すべての TwoRoom episode がだいたい同じ時刻に door を通り、corner mark が frame index とともに明るくなるとします。random-frame split なら、MLP や linear probe は time から position を当てられます。

episode split、policy speed randomization、mark removal で performance が落ちても、元の結果は嘘ではありません。「time と position が結び付いた distribution で position が recoverable」だっただけです。

controls は constant-mean predictor、simple pixels/privileged observable、untrained encoder、shuffled labels、train-vs-test curves。TwoRoom は open floor/wall/doorway、PushT は free motion/approach/first contact/sliding/rotation に slice します。

use を試すなら、probe 後に variable-associated subspace を perturb し、同じ episodes/candidates で matched-size random directions、norm-preserving noise、no intervention と比べます。behavior change も entanglement や OOD latent の結果かもしれないため、言えるのは “behaviorally implicated under this intervention” までです。

実験のレシート

後続結果は境界を具体化します。

  • Objective Bottleneck：1つの TwoRoom follow-up system で terminal latent L2 vs true endpoint distance Pearson (r=0.426)、ridge position probe held-out (R^2=0.9922)。
  • SCALE：state-regression control は一部 task で full-embedding decodability を match/exceed しても distance alignment を match せず、13/15 task–solver averages を改善。SCALE は15/15。
  • Decision-Metric Alignment：4 non-collapsed PushT variants の probe (R^2) 差は0.03未満。一方 Plan–Real Spearman は+0.280から約+0.410–+0.420、online success は49.3%–92.7%。各 config 1 training run、3 seeds は evaluation variation。

別々の author-reported protocols です。decodability と planner-facing geometry が分かれうることを示しますが、万能な1 mechanism は確定しません。元の v3 は全 probe を exact reconstruct できる implementation detail が不足しています。

3つのクイック質問

  1. original representation を probe するため、何を凍結しますか。
  2. MLP success は linear success より何を示し、何を示しませんか。
  3. recoverability から behavioral relevance へ進む intervention は何ですか。