コース進捗 コース目次 34レッスン中 34件を公開中
第0部―まず地図を広げる
第1部―簡単な目的で、なぜ動画が分かるのか
第2部―一本の動画を一台のエンコーダーへ
第3部―実験を読めてこそ、論文を読んだと言える
第4部―公式リポジトリから自分の実験へ
第5部―表現を世界モデル構想へ戻す
付録―必要なときに開く技術リュック
周回数と燃料代
- 同じ周回エポック数をそろえる
- 燃費は違う1サンプルの FLOPs
- 同じ予算FLOPs をそろえる
- 多く回れる1085周
二台のスクールバス
どちらも街を240周します。一台は一周一缶、もう一台は八缶の燃料を使います。走った距離は同じでも費用は違います。逆に同じ燃料だけを渡せば、低燃費車はもっと回れます。動画事前学習でも、データ周回数と計算請求書は別物です。
二通りの比較
総学習計算は大まかに「サンプルを見た回数 × 1サンプル当たりの計算量」です。LeVJEPA は学習時に疎なトークンだけを符号化し、目標エンコーダーと予測器の前向き計算もないため、1サンプル当たりの計算量が小さくなります。
| 手順 | 固定するもの | 変わるもの | v1 の設定 |
|---|---|---|---|
| 周回数一致 | 同じデータ、エポック数、実効バッチサイズ、評価方法 | 総 FLOPs | K710の20%、240周、実効バッチサイズ3072。比較手法を公式実装と推奨条件で再学習 |
| FLOPs 一致 | 同じデータ、モデル規模、総事前学習 FLOPs、凍結評価 | 周回数と視点予算 | ViT-B、K710の20%。LeVJEPA は1085周、V=10 |
周回数一致図で著者が報告する V-JEPA 2 に対する計算優位は、規模により 5.6–20.8×。ViT-B の精度差は1点未満、総計算は 4.8 対 36.4 ExaFLOPs。ViT-L は5.6×少ない計算で1.9点高いとされます。「同じ240周ならどちらが安いか」への答えです。
FLOPs 一致表では、1サンプル当たりの節約を長い学習へ使い、LeVJEPA は1085周と10個の局所視点を得ます。著者報告は IN1K 61.0、SSv2 40.4、K400 44.6。「同じ請求額なら何を学べるか」への答えです。1085周が無料なのではなく、より多くデータへ触れたことも手順の一部です。
公式リポジトリの既定値はさらに別です。Walking Tours、26周、V=10、約10k最適化ステップ、実効バッチサイズ3072です。K710 20%の240周比較でも、1085周の FLOPs 一致比較でもありません。また、学習時の削減だけから推論が20倍速いとは言えません。評価時には全トークンを戻します。ブロック因果注意のキャッシュによる逐次処理の利得は別の話です。
同じ「7.6」に注意
36.4 ÷ 4.8 ≈ 7.6 は ViT-B 周回数一致の計算比です。一方、FLOPs 一致表で IN1K 61.0 が次点53.4を上回るのも 7.6ポイントです。同じ数字でも単位が違います。実験札にデータ、周回数、総 FLOPs、プローブを書き、どれかが欠けたら「公平に勝った」とは言いません。
請求書の出典
財布に入れる三文
- 同じエポック数は同じデータ周回数で、同じ計算量ではありません。
- FLOPs 一致では、1ステップ当たりの低い計算量を1085周と
V=10に換えます。 - Walking Tours の26周既定値は、論文のどちらの比較手順でもありません。
会計テスト
- 240周、バッチ3072はどちらの比較ですか。
- FLOPs 一致の LeVJEPA は何周ですか。
- 学習時95%削減なら、評価も5%だけ読みますか。
答え
- 周回数一致。
- 1085周、
V=10。 - いいえ。評価と推論では全トークンを使います。