第7章―SIGReg：点の雲を影から調べる

高次元を影で見る

懐中電灯の検品

机に正体の分からない積み木の塊があります。みちるは懐中電灯の向きを変えながら照らします。ある向きの影が一点なら、その方向に潰れています。多くの向きで中央が滑らかな鐘形に見えれば、細い隙間に押し込まれてはいないようです。

ただし、一日に照らせる向きは有限で、机にある積み木も一つのサンプル集合にすぎません。「変な影を見なかった」ことは、「宇宙の全方向を調べた」ことにはなりません。

sketched の意味

各視点は K 次元埋め込みになり、多数のサンプルで高次元点群を作ります。SIGReg は Sketched Isotropic Gaussian Regularization の略で、sketched は低次元への素早い写し取りを指します。目標は標準等方正規分布 N(0, I) です。中心はゼロで、どの単位方向も同じ尺度を持ち、分散ゼロに潰れた方向がありません。

橋渡しをするのが Cramér–Wold の考え方です。高次元確率変数をあらゆる一次元方向へ射影し、すべて標準正規分布と一致すれば、同時分布は標準等方正規分布になります。実装では無作為な単位ベクトル a_m を取り、埋め込み z_i をスカラー <z_i, a_m> へ落とします。その経験特性関数、つまり正弦と余弦で作る分布の「指紋」を、標準正規分布の解析的な指紋と比べます。LeVJEPA の固定実装は、1ステップごとに1,024方向を引き、t ∈ [0,3] の17点で数値積分します。複数方向・複数視点の損失を集約する Epps–Pulley 型の統計量です。

全埋め込みが同じなら影には幅がなく、分散1の正規分布と大きく異なります。低次元平面だけに点があれば、垂直な向きが分散ゼロを暴きます。SIGReg の勾配は埋め込みから投影器とエンコーダーへ直接戻ります。負例や教師枝は要りません。

理想的な定理とコードは分けて考えましょう。実際の1ステップは、有限のサンプル集合、無作為方向、数値積分点を使う確率的な近似で、最適化が収束するとも限りません。SIGReg が一度低かっただけで、母分布が全方向に厳密な正規分布だとは言えません。物理状態を表すとも言えません。あくまで、理論的な根拠を持つ崩壊防止の圧力です。

鉛筆で試す

横一列に点を10個描きます。横からの影は広くても、縦からなら全部一点です。一方向だけでは次元崩壊を見逃すことが分かります。無作為方向を増やすほど見つけやすくなりますが、有限回の検査は全方向の証明ではありません。

参照先

• LeJEPA v3：SIGReg、Cramér–Wold、下流リスクの議論
• 固定した LeJEPA 公式実装：有限射影
• LeVJEPA v1：視点ごとの SIGReg と数値積分
• 固定版 LeVJEPA module.py

三つの要点

1. SIGReg は無作為一次元射影で、高次元埋め込みが等方正規分布に近いか調べます。
2. 定数点群や低次元の平たい雲は、どこかの向きに不自然な影を落とします。
3. 有限のサンプル集合・方向・数値積分は近似で、低損失は完全な分布証明ではありません。

影絵クイズ

1. sketched は何を指しますか。
2. 横向きの影だけでは何を見落としますか。
3. SIGReg が低ければ、物理法則を学んだと言えますか。