付録B―完全テンソル形状表

箱の向きを最後まで追う

走るのに間違っている計算

空港で「旅客・時刻・色・高さ・幅」の順に積んだ荷物を、検査機の前で「旅客・色・時刻・高さ・幅」へ並べ替えます。札だけを書き換え、箱を動かさなければ、機械は色を時間として読みます。寸法がたまたま合えば、例外すら出ません。

だから 5次元テンソル とだけ覚えず、各軸の名前、値域、型を最初の標本で断言します。

記号の旅券

論文のある比較条件と、公開リポジトリの既定値は同じ実験設定ではありません。特に V=4 と V=10 は、条件を添えればどちらも正しい値です。

読み込みから多視点まで

一つのエピソードから抜いた元の動画窓は、通常次の順です。

[T,C,H_raw,W_raw]

同じ T フレームへ空間変換を施し、標本をまとめると、公開ローダーは次の二箱を返します。

エンコーダー直前で軸を並べ替えます。

global_video = rearrange(global_frame, "b t c h w -> b c t h w")
local_video = rearrange(local_frames, "b v t c h w -> (b v) c t h w")

大域入力は [B,C,T,224,224]、局所入力は [B·V,C,T,96,96] です。視点軸を一時的にバッチ軸へ畳むことで、全局所窓を同じエンコーダーへまとめて通し、出力後に B,V,D へ戻せます。

パッチ数の算数

τ=1 なので時間は16区画のままです。空間パッチは16×16画素。

大域パッチ数 = 16 × (224/16) × (224/16) = 16 × 14 × 14 = 3136
局所パッチ数 = 16 × ( 96/16) × ( 96/16) = 16 ×  6 ×  6 =  576

パッチ埋め込み後、[CLS] を加える前は次の形です。

τ=2 にすれば時間区画は8となり、数も一トークンが覆う時間も変わります。LeVJEPA の既定は τ=1。V-JEPA や VideoMAE の設定を無断で混ぜません。

95%落とした学習時

公式実装の保持数は次です。

keep_len = round(N_patches × (1 - ρ))

各標本で独立に無作為な保持集合を作ります。

これは学習時だけの形です。評価・推論ではトークンを落とさないので、16×224×224を入れた公開 ViT-L は3137トークンを返します。学習時の158を配布重みの出力長と書けば、密特徴の並べ直しが壊れます。

[CLS] から損失まで

既定削減率での学習時の流れです。

global_tokens : [B,      158,D]
local_tokens  : [B·V,     30,D]
global_cls    : [B,        1,D]
local_cls     : [B,        V,D]
all_cls       : [B,      V+1,D]
projected_z   : [B,      V+1,K]

実装は embeddings[:, :1] で大域埋め込み [B,1,K] を取り、全部の [B,V+1,K] と比べます。大域と自分自身の差は常に0ですが、公式式・実装では平均に含まれます。

SIGReg の前に軸を替えます。

[B,V+1,K] -> [V+1,B,K]

同じ動画の似た視点を独立標本として数えず、各視点位置について異なる B 本の動画から分布を作るためです。

SIGReg の内側

入力を [S,B,K]、S=V+1 とします。

分散処理で all-reduce するのは [2,S,M,Q] の経験特性関数です。全 [B,K] 埋め込みを交換しないので、通信量がおおむね標本数と埋め込み幅に依存しない、という論文の説明につながります。

公開モデルを読む形

Hugging Face 版の入力は [B,C,T,H,W]。[1,3,16,224,224] を公開 ViT-L/16 に入れると、次の形です。

last_hidden_state: [1,3137,1024]
pooler_output:     [1,1024]

静止画を16回複製しても、出力形式は動画トークン列です。形式が動画になっただけで、実際の運動を観測したことにはなりません。

最低限の五つの断言

assert global_frame.ndim == 5 and global_frame.shape[1:3] == (16, 3)
assert local_frames.ndim == 6 and local_frames.shape[2:4] == (16, 3)
assert global_frame.shape[-2:] == (224, 224)
assert local_frames.shape[-2:] == (96, 96)
assert torch.isfinite(loss).all()

正規化前後の dtype/min/max/mean/std も出します。uint8 の0〜255を、そのまま正規化済み浮動小数点だと思って入れる失敗も「動いてしまう」からです。

形の根拠

• LeVJEPA v1：方法と付録
• 固定実装の main.py、module.py、data/loader.py
• 固定版モデルカード

送り状の三行

1. ローダーは [B,T,C,H,W]、エンコーダーは [B,C,T,H,W] です。
2. 95%削減は学習時だけで、公開重みの推論は3137個すべてを返します。
3. SIGReg の標本軸は異なる動画であり、一動画の視点数ではありません。

荷ほどき問題

1. 局所視点がエンコーダー入口で [B·V,C,T,96,96] になるのはなぜですか。
2. 大域学習列が158、公開重みの出力が3137になる違いは何ですか。
3. [B,V+1,K] を [B(V+1),K] とみなして SIGReg へ入れると、何を取り違えますか。