课程

LeVJEPA：让视频自己教会模型

沿着 Yann LeCun 的 JEPA 路线，用直观图解、必要的数学和可复现实验，读懂单编码器、SIGReg、随机丢 token 与块因果注意力。

模块: 7 模块
课: 34 课
预计时长: 预计 18 小时
适合: 适合: 第一次接触自监督视频学习的读者，以及希望核对论文、代码、训练配方和证据边界的工程师与研究者。

先看一张五格地图

同片多窗一扇大窗，几扇小窗
共享读者一台编码器写摘要
拉近同一段视频应该相像
撑开SIGReg 让点云保持舒展
稀疏守时丢 95%，也不偷看未来

LeVJEPA 没有靠堆叠分支取胜。它给一台编码器两条清楚的学习规则：同片同义，同时保留差别。

想象一个孩子从两扇窗看同一场街头表演：一扇窗很大，另一扇只露出鼓手的手。孩子应当知道它们属于同一段故事；但如果他给所有表演都写成“东西在动”，答案就失去了用途。

LeVJEPA 用不变性损失让同一视频的全局与局部摘要靠近，再用 SIGReg（速写式各向同性高斯正则化）阻止所有摘要挤成一个点。训练时只保留少量随机视频 token，并让每一帧只读取现在和过去。计算图很短，容易漏看的条件却不少；这套教程会把它们放回数据、模型、损失和证据各自的位置。

按你的目的选路

**只想听懂：**读第 0–8、13–14、19–20、27 章。你会得到完整直觉与证据边界。
**准备动手：**继续读第 9–15、21–26 章，再用附录 B、D 做逐项核对。
**准备研究：**完整阅读，并把第 16–20 章的公平比较方法带进第 28–29 章。

四本账，读到数字时别丢

**名称账。**LeVJEPA 是 2026 年的视频表征方法，与 LeJEPA、V-JEPA 2、LeWorldModel 各有不同计算图。
**零件账。**训练目标由共享 encoder/projector 构成；Polyak/EMA 权重位于目标图外，只作为评估检查点。target encoder、predictor 和 stop-gradient 属于别的配方。
数字账。“更省”“更准”只有连同数据集、模型大小、训练轮数或 FLOP 预算、探针协议一起写，才是一条完整结论。
**边界账。**因果视频编码器可以成为流式感知和世界模型的地基；要走到行动规划，还需动作条件预测器、代价函数和规划器。

开课前，先分一次零件

把 共享编码器、SIGReg、EMA 评估副本、动作规划器 写在四张纸上，分成“LeVJEPA 训练目标内”“实现里但目标外”“尚需另建”三堆。

核对分法

**目标内：**共享编码器、SIGReg。
**实现里但目标外：**EMA 评估副本。
**尚需另建：**动作规划器。

证据更新到哪一天

本系列以 2026-09-05（Asia/Tokyo） 为证据截止时间。核心事实来自 LeVJEPA arXiv v1、官方项目页、官方仓库固定快照 3ea0dda 与固定版本的公开模型卡；SIGReg 的理论背景按 LeJEPA arXiv v3 核对。LeVJEPA 论文发布于 2026-08-27，在截止日仍是预印本。系列中的实验数字均标作作者报告；公开代码与权重让复查成为可能，但还不能充当独立复现。

课程进度

课程大纲

已发布 34/34 课

第 0 部分——先拿到地图

先辨认 LeVJEPA 的名字、任务边界与历史位置，再选择适合自己的阅读路线。

第 1 部分——为什么简单目标会学会看视频

从无标签学习、表征预测与坍塌问题出发，建立 LeVJEPA 两项损失之间的张力。

第 2 部分——把一段视频送进单编码器

沿着真实张量和计算图，走过多视图、token、ViT、投影头、稀疏观察与因果注意力。

第 3 部分——会读实验，才算读懂论文

把消融、预算、公平比较、探针和作者报告拆开，避免被一个漂亮数字带走。

第 4 部分——从官方仓库到自己的实验

先用公开权重确认接口，再按资源逐级进入数据、训练、诊断与自定义评估。

第 5 部分——把表征接回世界模型路线

把 LeVJEPA 放回 LeCun 的长期目标中，分清已经完成的编码器与仍需构建的预测、行动和规划模块。

附录——随用随查的技术背包

把数学、形状、术语、历史版本和复现凭据放在主学习路线旁边。