第27章―大事な境界：LeVJEPA は計画器ではない

見る機械と、動く機械の間

道案内と運転は別の仕事

街角を正確に説明できる案内人がいます。今の角を話すとき、次の角を盗み見もしません。それでも「ここで右へ切ったら壁に当たるか」と聞かれれば、ハンドル操作が未来をどう変えるか、危険をどう測るか、何通りを比べるかが必要です。見えることと運転できることの間には、まだ橋があります。

「因果」という三つの言葉

LeVJEPA の block_causal は、情報が流れる向きの規則です。ある時刻のパッチは同じ時刻と過去を読めますが、未来は読めません。[CLS] は区間全体を読む要約枠で、パッチ側からは読まれません。この規則は未来情報の漏洩を防ぎますが、介入の原因と結果を学んだ証明にはなりません。

受動動画で「明かりの後に扉が開く」と何度見ても、共通の別原因があるかもしれません。「ボタンを押したら扉が開く」を調べるには、観測、実際の動作、その後の観測を結んだ軌跡が要ります。そして動作を乱す、外す、反事実の動作へ替える試験で、予測器が動作を無視していないことを確かめます。

したがって、次の三つは別物です。

• **因果マスク：**未来を参照しない注意の接続。
• **動作条件付き予測：**動作を入力して次の潜在状態を予測する学習。
• **因果発見：**観察や介入から因果構造を同定する主張。

計画に足りない四部品

LeVJEPA が返すのは [CLS] とパッチの表現です。計画器にするなら、少なくとも動作 a_t、動作条件付き力学 F(z_t,a_t)、目標または費用 C(z,g)、候補動作の探索と閉ループ制御を新しく用意します。未来が一通りでなければ、不確実性も表す必要があります。

z_now = encoder(history)              # LeVJEPA にある
z_next = dynamics(z_now, action)      # 新設：動作軌跡で学ぶ
score = cost(z_next, goal)            # 新設：目標と危険を測る
action = search(dynamics, cost)[0]    # 新設：1ステップ進み、また観測する

これは部品の境界を示す擬似コードで、公式 API ではありません。

V-JEPA 2 の観察事前学習と V-JEPA 2-ACも分けて読みます。後者はエンコーダーを凍結し、62時間未満のロボット軌跡で別の動作条件付き予測器を学び、画像目標と MPC を組み合わせました。LeWorldModel は画素側からエンコーダーと動作条件付き予測器を同時学習します。どちらも「橋には何が要るか」を示す先例であり、LeVJEPA に最初から入っている機能ではありません。

分類や検索のプローブで情報を読み出せても、長い予測で状態が保たれる、費用を比較できる、安全な動作を探索できる、とは限りません。計画の主張をするなら、表現、1ステップ先予測、長区間の展開、探索量、閉ループ成功を別々に測ります。

固定した公式リポジトリの paper.md には Push-T 世界モデルの草案がありますが、結果表は TODO のままです。エピソード数、乱数種、計画条件もそろっていません。空欄から成功率を作ることはできません。v1 が報告したのは動画表現、計算効率、プローブ評価です。

五つの空欄を探す

「LeVJEPA が計画する」という図を見たら、動作テンソルはどこか、誰が次状態を予測するか、費用は何か、誰が候補を探索するか、新しい観測でいつ再計画するかを尋ねます。最初の観察以外が空欄なら、それは計画器ではなくエンコーダーの図です。

境界を確かめた資料

• LeVJEPA v1：方法と限界
• 固定 paper.md の未完成 Push-T 草案
• V-JEPA 2 / 2-AC
• LeWorldModel v3

橋の手前で覚えること

1. ブロック因果注意は情報の向きを制限します。動作の因果を学んだ証明ではありません。
2. 計画には動作条件付き予測、費用、探索、再観測して行う閉ループ制御が要ります。
3. 上流の Push-T 表は TODO を含む草案で、引用できる LeVJEPA の成功率はありません。

境界線クイズ

1. LeVJEPA の元の入力にロボット動作は含まれますか。
2. [CLS] を各時刻のオンライン状態として使えないのはなぜですか。
3. V-JEPA 2-AC の計画結果を LeVJEPA の成果として書けますか。