第18章 — MPC：モデルを一度に長く信じすぎない

計画の先頭だけを実行し、新しい観測で再符号化・再計画する閉ループと、再計画間隔や外乱の影響を学びます。

コース進捗 コース目次 48レッスン中 48件を公開中

第0部　読み方ガイド：私たちは何を学ぶのか

01 第0章 — はじめる前に 公開中

第1部　世界モデル：エージェントの頭の中にある実験場

第2部　画面を状態に変える：LeWMのモデル構造

第3部　モデルの抜け道を防ぐ：予測損失とSIGReg

第4部　モデルを行動に使う：潜在空間での計画

第5部　エンジニアリング再現：論文から動くシステムへ

第6部　LeWMは何を学んだのか

第7部　「予測が正確」でも「計画がうまくいかない」のはなぜか

第8部　再現者から研究者へ

付録　数学・実装・再現・査読のための参照資料

まず大きな絵

観測現実の証拠を符号化する。
計画CEM が H block を想像する。
実行K block だけ現実で動かす。
もう一度見る古い残りを捨てて計画し直す。

CEM は想像の中を探し、MPC は現実の観測を取り戻します。

内側の CEM 探索が、外側の観測・実行・再計画ループに入っています。

小さなお話

地図は「右へ曲がる」と言いましたが、工事で左へ押し出されました。よいナビなら、もう一度現在地を見て、新しい道を引きます。

Model Predictive Control（MPC）も似ています。有限の未来を想像し、計画の一部を実行し、新しい現実の観測を受け取って、また探します。feedback は予測だけに頼る時間を短くします。ただし encoder、predictor、cost、search が新しい証拠を正しく読む保証はありません。

本当のルール

3つの時計を分けます。

(H)：候補内で想像する model-level action blocks。
(K)：次の再計画までに本当に実行する blocks。(K\le H)。
1 action block に入る raw environment timesteps。

論文と凍結 config の LeWM では (H=5)、(K=5)、1 block は5つの連続 environment actions です。つまり25 environment timesteps 分の計画全体を実行してから、次の planning call を行います。episode 全体では MPC ですが、よく描かれる (K=1) feedback ではありません。

学習済み encoder と predictor を凍結
task が続く間:
  real observation history と別の goal を符号化
  H-block 候補を inner CEM で探索
  記録した return 規約で plan を選択
  最初の K blocks を environment で実行
  新しい real observation を受け取り再計画

CEM と MPC は同じ名前ではありません。CEM は1 planning call 内で action proposal を変えます。MPC は外側の observe–plan–execute–observe 方針です。どちらも評価中に LeWM の重みを更新しません。実行しなかった候補は、現実から feedback をもらえません。

だまされる反例

新しい観測を epistemic reset と呼べますが、限界を残します。古い imagined endpoint への依存は切れます。しかし hidden velocity、contact force、privileged simulator state は見えません。壁越しを近いとみなす systematic cost error は毎回くり返せます。

最初の action block 後に、同じ横向きの押しを入れます。次の3条件を比べます。

episode 全体を open loop にする。
tutorial variant の (K=1)。
reported style の (K=5)。

start、goal、checkpoint、action bounds、total real-action budget、seed schedule を固定します。いつ押しを観測したか、次の plan がどう変わったか、planning calls、latency、実行経路を保存します。短い (K) は早く見直せますが、CEM call が増えます。これは feedback–compute trade-off です。

実験のレシート

各 cycle で、選んだ imagined plan、solid な実行 prefix、dashed な未実行 suffix、返った観測、prefix forecast error、replacement plan を保存します。normalized model action と raw environment action の両方を記録します。adapter bug は model failure に見えるからです。

根拠は LeWorldModel v3 と凍結 TwoRoom evaluation config、commit 8edfeb3 です。独立 TwoRoom 再実装も、自分の system で5-block horizon と5-block execution interval を合わせています。

慎重に言えるのは「ずれが観測可能で、その後の model、cost、search、action path が有効なら、MPC は長い open-loop prediction への依存を減らせる」です。安全証明でも、perfect-state reset でも、短い (K) が常によいという証拠でもありません。

3つのクイック質問

model block と environment timestep を分けて書くのはなぜですか。
新しい観測が reset するものと、まだ間違い得るものは何ですか。
内側の CEM clock と外側の MPC clock はどう違いますか。