课程进度 课程大纲 已发布 48/48 课
第 0 部分——阅读指南:我们究竟要学什么?
第 1 部分——世界模型:智能体内部的沙盒
第 2 部分——把图像变成状态:LeWM 架构
第 3 部分——防止模型作弊:预测损失与 SIGReg
第 4 部分——让模型行动起来:在潜在空间中规划
第 5 部分——工程复现:从论文到可运行系统
第 6 部分——LeWM 究竟学到了什么?
第 7 部分——为什么“预测准确”仍可能“规划很差”
第 8 部分——从复现者到研究者
附录
全局图景
- 形式定义这个术语指什么。
- 直白解释一个便于记忆的小故事。
- 边界它不能证明什么。
一个小故事:翻译亭
一位研究者说到目标(target),意思是编码后的下一观测。另一位听成了目标(goal),于是指向规划器使用的图像。第三位听到教师强制(teacher forcing),便凭空想出一个原始 LeWM 根本没有的 EMA 教师。
这些词各自处在不同车道。因此,每一行都保留四扇窗口:形式定义、直白解释、类比与常见误解。

类比有助于记忆,但无法提供假设或证据。
模型与表征术语
| 术语 | 形式定义 | 直白解释 | 类比 | 常见误解 |
|---|---|---|---|---|
| 世界模型(World model) | 学习得到的状态/动力学模型,用于预测时间或动作的后果,以支持推理或控制。 | 它预演“接下来会发生什么?” | 排练室。 | 它必须渲染视频,或包含完整且可读的物理规律。 |
| 潜在状态(Latent state) | 为预测、分析或规划而压缩观测/历史的学习向量。 | 一张紧凑的内部状态卡。 | 护照,而不是照片。 | 每个坐标都对应物理量;单帧会自动成为马尔可夫完备状态。 |
| 目标表征(Target representation) | 预测损失的参照;在 v3 中,同一个可训练编码器会编码移位后的真实后继,而且不进行分离。 | 需要匹配的、编码后的下一观测。 | 训练的目的地车票。 | 目标图像、EMA 教师、目标网络或停止梯度。 |
| 动作条件(Action conditioning) | 动作/动作块调制由潜在上下文预测的转移。 | 询问“如果我这样做会怎样?” | 模拟器上的左/右按钮。 | 不同符号总会产生不同且正确的因果分支。 |
| 表征坍缩(Representation collapse) | 消除任务有用变化或有效结构的退化现象。 | 不同情形在内部看起来完全相同。 | 所有人共用一本护照。 | 任何低维表征都是坍缩;坍缩等同于过拟合。 |
| SIGReg | 将有限个随机一维投影与标准高斯分布比较,以施加防坍缩压力。 | 检查潜在人群在许多方向上的影子。 | 从多个角度观察一座城市。 | 有限个影子可以认证高斯性、拓扑、物理规律或效用。 |
预测与控制回路术语
| 术语 | 形式定义 | 直白解释 | 类比 | 常见误解 |
|---|---|---|---|---|
| 预测损失(Prediction loss) | 预测的未来表征与编码后的实际后继之间的差异。 | 预测的下一步是否遇上了真实的下一步? | 预报与实际到达。 | 较低的单步损失可以保证展开或规划。 |
| 教师强制(Teacher forcing) | 序列训练以记录的上下文为条件,而非只依赖先前的预测。 | 训练沿着真实轨迹行走。 | 提供前一小节钢琴谱。 | 它必须使用教师网络、EMA 或停止梯度。 |
| 展开(Rollout) | 在动作作用下反复应用动力学,通常把预测馈送到后续步骤。 | 一步一步构建未来路径。 | 从早先的副本继续复制。 | 它必然是视频、真实数据或一条可行路径。 |
| 开环控制(Open-loop control) | 在一段时间内执行已确定的序列,不根据观测进行修订。 | 先照计划走,再回头观察。 | 打印好的驾车路线。 | 它没有模型,或者永远无法工作。 |
| 闭环控制(Closed-loop control) | 较早动作影响世界后,后续动作会使用新的观测。 | 再看一眼,然后更新。 | 导航重新规划路线。 | 反馈能保证成功,或能修复错误的模型/代价。 |
规划术语
| 术语 | 形式定义 | 直白解释 | 类比 | 常见误解 |
|---|---|---|---|---|
| 规划器(Planner) | 在有限预算下,利用模型、代价与约束选择动作序列。 | 它选择尝试方案;模型估计结果。 | 旅行代理人。 | 规划器等于世界模型;搜索可以恢复已被丢弃的信息。 |
| 代价(Cost) | 对预测结果/动作进行排序的标量规则,通常越低越好。 | 它判断哪个候选方案看起来更好。 | 裁判的计分卡。 | 它必然是训练奖励或可行性。 |
| 终端潜在距离(Terminal latent distance) | v3 中最终预测潜变量与编码目标潜变量之间的平方欧氏距离。 | 用尺子量端点与目标之间的距离。 | 地图上的直线。 | 它等于最短路径、进展、时间距离或可达性。 |
| 决策度量对齐(Decision-metric alignment) | 在某一协议下,预测候选排序与实际候选排序之间的一致性。 | 预演选出的赢家也是现实中的赢家吗? | 两位裁判为选手排名。 | 一项相关性、探针或单步分数便能保证它。 |
| 可达性(Reachability) | 在允许的动力学/动作下能否到达某个状态,通常有方向性与预算限制。 | 在这些规则下,我能到达那里吗? | 带锁的相邻房间。 | 它是对称的,等于视觉相似性,或能由学习分数认证。 |
| CEM | 采样动作序列、保留代价精英,并在有限轮次中重新拟合提议分布。 | 胜者塑造下一轮选拔。 | 反复进行的锦标赛。 | 它是穷举搜索、有全局保证,或不受模型误差影响。 |
| MPC | 规划、执行配置好的前缀、观测,然后再次规划。 | 短暂相信想象,随后进行核验。 | 水手在每段航程后重绘路线。 | 它总是只执行一个动作;能消除偏差;或者本身是学习得到的控制器。 |
证据与诊断术语
| 术语 | 形式定义 | 直白解释 | 类比 | 常见误解 |
|---|---|---|---|---|
| 支持集不匹配(Support mismatch) | 查询在所收集/训练分布中缺乏充分证据。 | 规划器询问的是一个几乎没学过的街区。 | 地图上未经勘测的空白区域。 | 分布外就代表不可能;全局动作频率可以证明局部支持。 |
| 模型利用(Model exploitation) | 搜索偏爱某些动作,是因为系统性的模型/代价误差让它们显得更有吸引力。 | 优化器找到了模拟器漏洞。 | 钻规则错字的空子。 | 它只是正常探索、欺骗行为,或证明 CEM 已损坏。 |
| 可解码性(Decodability) | 指定探针/数据划分可以从固定表征中恢复某个变量。 | 这位读者能提取出它吗? | 文员读取编码护照。 | 模型正在使用它;它具有因果性;它证明模型理解了内容。 |
| 可控性(Controllability) | 在指定动力学/视界下,允许动作能够影响或到达的状态差异。 | 控制能改变什么? | 电梯楼层按钮。 | 动作敏感性足以建立可控性或可观测性。 |
| 可辨识性(Identifiability) | 在给定假设/等价关系下,潜在模型的恢复在允许变换范围内唯一。 | 隐藏解释能被唯一恢复吗? | 只在一个司法辖区有效的证件。 | 它代表可解释性,或任意世界中的真实物理规律。 |
| 因果识别(Causal identification) | 通过实验设计或识别假设建立干预效应/结构。 | 某个因素改变后,究竟是什么因此发生了变化? | 测试一只电路开关。 | 相关性、探针、分离的分支或任意消融都能证明因果关系。 |
| 规划效用(Planning utility) | 在明确任务、规划器与预算下的实证决策价值。 | 它能帮助在这里选择动作吗? | 用实际行程评价地图。 | 它是内在的、与任务无关的标量。 |
| 动作条件预测一致性(Action-conditioned predictive consistency) | 匹配动作展开的诊断;ACPC 使用散度、Invariance Radius 与 Separation Rate。 | 对无关扰动保持稳定;对后果变化作出区分。 | 重新粉刷路牌与移动道路。 | 一致性能够证明真实性、校准后的不确定性或安全性。 |
| 独立复现(Independent reproduction) | 作者之外的人员在有记录的版本/协议下重新运行或重新实现某项主张所形成的证据。 | 另一位调查者检查他们实际运行了什么。 | 第二个实验室重复一项检验。 | 作者代码或 TwoRoom 已验证所有任务/方法。 |
| 预期违背(Violation of Expectation) | 对普通事件序列与经过刻意扰动的事件序列进行匹配的意外程度比较。 | 误差会对选定的违背作出反应吗? | 改变服装与改变运动规则。 | 意外程度可以证明直觉物理、因果性或广泛的异常理解。 |
试着推翻这套词汇
“教师通过一次展开把目标表征强制送入目标图像,所以较低的潜在距离证明该状态可达。”
每个名词都真实存在,但它们之间的每条连线都是错的。教师强制提供已记录的上下文。目标表征是编码后的后继;目标图像属于规划阶段。展开会在动作作用下想象潜变量。终端距离为端点排序,却不能证明带有预算限制的有向可达性。
修复这句话的方法,是把每个词都对应到唯一的对象、阶段、假设集合与证据类型。一个词下面藏着两种机制,是出现类别错误的信号。
证据收据
这些定义遵循 LeWorldModel v3、冻结的官方代码、LeJEPA v3、passive identifiability v1、controlled identifiability v2与TwoRoom reproduction v1。附录 E 固定了前沿工作的版本。截止时间:2026-08-20。类比是本教程为讲解而构造的;独立证据仍只限 TwoRoom 及其协议。
三个快速问题
- 目标表征与目标图像分别在何处进入系统?
- 为什么信息可以被解码,却没有被使用,也不具有因果性?
- 距离、可达性与规划效用有何区别?