第 7 章——SIGReg：从许多影子检查一团点云

看不清点云，就先看影子

桌上有一团形状难辨的积木。从不同方向打光：某个方向的影子若缩成一点，积木团在那个方向上就被压扁了；许多方向都留下平滑、居中的钟形影子，才更像一团没有挤进窄缝的积木。

当然，一下午只能试有限个灯位，桌上也只是这一小批积木。没碰见扁影，只能增加信心，并不等于穷尽了所有方向。

从手电筒走到 SIGReg

每个视频视图会得到一个 K 维嵌入，许多样本合起来形成高维点云。SIGReg 全称 Sketched Isotropic Gaussian Regularization（速写式各向同性高斯正则化）：sketched 指借助低维“速写”检查分布，目标是让点云接近标准各向同性高斯 N(0, I)。这种分布以零为中心，各个单位方向尺度相同，没有哪个方向被压成零方差。

理论桥梁是 Cramér–Wold 思想：若高维随机变量在所有一维方向上的投影分布都与标准正态一致，那么其联合分布就是标准各向同性高斯。实现先随机采样单位方向 a_m，把每个嵌入 z_i 压成标量内积 <z_i, a_m>；再用经验特征函数——一组由样本算出的正弦、余弦“指纹”——与标准正态的解析指纹比较。论文采用 Epps–Pulley 型统计量，用数值求积近似积分，最后汇总多个方向和各个视图的损失。

为什么这能抓坍塌？若所有嵌入相同，总能看到几乎没有宽度的影子，与方差为 1 的正态影子相差很大；若点云只活在低维平面，垂直方向也会暴露零方差。SIGReg 直接通过嵌入把梯度传回 projector 与 encoder，不需要构造负样本或一个教师分支。

论文定理与代码实现各自回答不同尺度的问题。定理描述理想分布约束及其假设；一次训练只看到有限 batch（批次，即同时送入的一组样本）、有限随机方向和有限求积节点，结果还受优化是否收敛影响。因此代码得到的是随机有限近似。某一步 SIGReg 很低，支持的是“这次检查没有发现明显退化”，还不足以证明总体在每个方向都精确高斯，更推不出坐标已经对应真实物理状态。

画一团会骗人的点

在纸上画一条横线上的十个点。从水平方向看影子很宽，从竖直方向看全落在一点。这个例子说明只查一个方向会漏掉维度坍塌；增加随机方向会提高发现机会，但有限检查仍不是穷尽证明。

公式和实现的来路

• LeJEPA arXiv v3：SIGReg、Cramér–Wold 与风险论证
• LeJEPA 官方仓库固定快照：有限投影的实现
• LeVJEPA arXiv v1：按视图计算并用求积近似的 SIGReg
• LeVJEPA module.py 固定快照：论文配套代码

把三束光带走

1. SIGReg 用随机一维投影检查高维嵌入是否接近各向同性高斯。
2. 常量点与低维扁平点云会在某些方向留下不正常的影子。
3. 有限 batch、方向和求积只是理论目标的近似，低损失不是完整分布证明。

换个方向照照看

1. sketched 在这里是什么意思？
2. 为什么只看水平方向可能漏掉坍塌？
3. SIGReg 很低是否证明模型学会物理规律？