コース進捗 コース目次 34レッスン中 34件を公開中
第0部―まず地図を広げる
第1部―簡単な目的で、なぜ動画が分かるのか
第2部―一本の動画を一台のエンコーダーへ
第3部―実験を読めてこそ、論文を読んだと言える
第4部―公式リポジトリから自分の実験へ
第5部―表現を世界モデル構想へ戻す
付録―必要なときに開く技術リュック
同じにする。でも同じにしすぎない
- 犬の全景一枚の札
- 犬の耳近い札
- ずるい答え全部「もの」
- 崩壊情報が消える
ゼロを書けば満点？
先生は、各動画の大きな札と小さな札が一致するかだけを見ます。ある生徒が満点を取れる抜け道を見つけました。猫にも列車にも料理にも、数字 0 と書きます。各組はぴったり一致し、誤差はゼロです。しかし、札から動画を見分けられません。
これは学習プログラムの故障ではありません。出した問題が、その答えを許しています。「同じ動画窓を近づける」と決めたら、続けて「全動画窓が一点へ集まるのをどう止めるか」を考える必要があります。
二種類の潰れ方
**不変性（invariance）**とは、関係のない変化に表現が振り回されないことです。LeVJEPA は大域埋め込み z_0 と各局所埋め込み z_v の二乗距離を測ります。切り抜きと色が違っても、同じ16フレームなら近づけます。距離の両側へ勾配が流れるため、先生と生徒ではなく、同じパラメータを使う二人が一緒に動きます。
この距離だけを最小にすれば、定数関数 z(x) = c が完全な解になります。どの組も差がゼロです。これが**完全崩壊（complete collapse）です。もう一つ、ベクトルは長いのに実際は数方向しか変わらず、残りの座標が定数または重複する次元崩壊（dimensional collapse）**もあります。見かけの次元ほど情報を持ちません。
負例サンプル、分散・共分散の制約、EMA 教師・予測器・勾配停止など、抜け道を塞ぐ方法はいくつもあります。LeVJEPA は SIGReg を選びます。サンプル集合の埋め込みが作る点群を、平均ゼロで全方向の分散がそろい、偏った相関のない標準等方正規分布へ近づけます。一点や平たい線では合格できません。
役割は明確です。不変性は一つの動画の視点同士の関係を決めます。SIGReg は多くのサンプルが作る集団全体の形を見ます。不変性だけなら全部同じになり得ます。SIGReg だけなら点群はきれいでも、同じ動画が近いとは限りません。そこで、固定係数で二つを足します。
なお、「崩壊していない」と「世界を理解した」は違います。背景、カメラ、圧縮の癖のような近道を記録していても、点群は広がります。データ監査と下流評価が必要です。
四つの点を描く
(0,0)、(0,0)、(0,0)、(0,0) は、どの組の距離もゼロですが、縦横に幅がありません。次に (−1,0)、(1,0)、(0,−1)、(0,1) を描きます。点は広がりました。それでも、その座標が何を意味するかまでは図形だけから言えません。
証拠
持ち帰る三文
- 不変性損失だけなら、全入力を同じ定数へ写しても損失ゼロになります。
- SIGReg はバッチの埋め込み分布を制約し、完全崩壊と次元崩壊を押し返します。
- 非崩壊は退化していない証拠であって、世界理解の証明ではありません。
口頭チェック
- なぜ定数エンコーダーは不変性損失をだませますか。
- 大域枝は勾配停止されていますか。
- 点群が広がれば、動作の意味を学んだと言えますか。
答え
- どの組も同じ定数になり、差がゼロになるからです。
- いいえ。両端に勾配が流れます。
- 言えません。動作情報を対象にした評価が別に必要です。