动手学世界模型

Skip to content

动手学世界模型

Main Navigation

世界模型八十年

为什么需要世界模型

深度学习与表征基础

数据与强化学习基础

潜在动力学模型

交互式视频生成

联合嵌入预测架构

具身策略大模型

具身仿真与现实迁移

空间世界与自动驾驶

评测与研究设计

外观

Sidebar Navigation

导览

绪论

世界模型八十年

1. 为什么需要世界模型

1.1. 观察、状态与变化

1.2. 什么是世界模型

1.3. 经典世界模型

1.4. 体验世界模型（交互式驾驶）

2. 深度学习与表征基础

2.1. 视觉基础模型（CNN与ViT）

2.2. 序列模型（RNN与Transformer）

2.3. 空间离散化（VAE与VQ）

2.4. 生成模型（自回归与扩散）

2.5. 基础模块的从零开始实现

2.6. 基础模块的简洁实现

3. 数据与强化学习基础

3.1. 经历与状态转移

3.2. 经验回放池

3.3. 价值函数与策略梯度

3.4. 模型预测控制与交叉熵方法

3.5. 强化学习基础的从零开始实现

3.6. 强化学习基础的简洁实现

4. 潜在动力学模型

4.1. 变分自编码器与循环网络的结合（World Models）

4.2. 循环状态空间模型（RSSM）

4.3. 潜空间规划（PlaNet）

4.4. 想象中的策略梯度（DreamerV1）

4.5. 分类分布与离散化（DreamerV2/V3）

4.6. 隐式树搜索（MuZero）

4.7. 循环状态空间模型的从零开始实现

4.8. 想象训练的简洁实现

5. 交互式视频生成

5.1. 动作条件视频预测（SVG）

5.2. 视频词元化与自回归生成（VideoPoet）

5.3. 基于扩散的物理模拟（Sora）

5.4. 实时交互与键值缓存

5.5. 交互式视频模型的从零开始实现

5.6. 受动作控制的视频小世界

6. 联合嵌入预测架构

6.1. 联合嵌入与特征预测（I-JEPA）

6.2. 掩码机制与表示坍缩

6.3. 目标网络（EMA）

6.4. 动作条件特征预测（Action-JEPA）

6.5. 联合嵌入预测架构的从零开始实现

6.6. 视频 JEPA 的简洁实现

7. 具身策略大模型

7.1. 多模态异构观测（视觉、触觉与本体感觉）

7.2. 灵巧手与灵巧操作（Dexterous Manipulation）

7.3. 双足人形与全身控制（Humanoid & WBC）

7.4. 模仿学习基线（行为克隆）

7.5. 扩散策略（Diffusion Policy）

7.6. 动作分块预测（ACT）

7.7. 视觉语言动作模型（RT-X）

7.8. 原生具身大模型（OpenVLA）

7.9. 世界动作模型（VLA-JEPA / WAM）

7.10. 扩散策略的从零开始实现

7.11. 把世界模型接上身体

8. 具身仿真与现实迁移

8.1. 物理引擎与接触力模拟（MuJoCo）

8.2. 并行仿真与合成数据（Isaac）

8.3. 现实差距与域随机化（Domain Randomization）

8.4. 特权蒸馏与现实迁移（Sim2Real）

8.5. 想象强化学习与自我改进（RISE）

8.6. 遥操作与人在回路（HIL-SERL）

8.7. 现实迁移的简洁实现

8.8. 具身规划的从零开始实现

9. 空间世界与自动驾驶

9.1. 相机几何与多视角投影

9.2. 鸟瞰图与三维占用网格（BEV）

9.3. 神经辐射场与三维高斯（NeRF/3DGS）

9.4. 时空四维场景预测

9.5. 自动驾驶世界模型

9.6. 占用网格预测的从零开始实现

9.7. 驾驶场景下的四维世界模型

10. 评测与研究设计

10.1. 怎样评价世界模型

10.2. 世界模型的系统评测

10.3. 失效分析与模型改进

10.4. 设计新的世界模型

附录

A. 数学底座与术语速查

B. 数据集、算力与交付标准

C. 经典文献与产业地图

D. 相关领域对照

本页内容

最后更新:

Pager

下一篇绪论