Hands-on Modern RL

跳转到正文

Hands on Modern RL

Main Navigation

基础课程

预备知识
基础与经典 RL
深度强化学习

进阶专题

大模型对齐
Agentic 与多模态
安全与前沿

附录

简体中文

English

简体中文

English

外观

实验室 EN

Sidebar Navigation

序章 · 导论

强化学习导论

强化学习发展史

环境配置

Part I · 基础与经典强化学习

1. CartPole 入门

1.1 跑通 CartPole

1.2 CartPole 原理

1.3 动手：PPO 训练可视化

2. 强化学习问题与基本定义

2.1 探索与利用

2.2 MDP 与马尔可夫性

2.3 策略、价值与回报

3. 价值函数与贝尔曼方程

3.1 状态价值与贝尔曼期望方程

3.2 动作价值与贝尔曼最优方程

3.3 动手：价值迭代与 Q-Learning

4. 经典强化学习方法

4.1 动态规划、蒙特卡洛与时序差分

4.2 策略采样与数据来源

4.3 奖励函数设计

Part II · 深度强化学习

5. 深度 Q 网络

5.1 从 Q-Learning 到 DQN

5.2 DQN 的结构与实现

5.3 动手：LunarLander 实战

5.4 DQN 改进方法

5.5 动手：视觉游戏项目

6. 策略梯度方法

6.1 策略梯度与 REINFORCE

6.2 策略梯度改进方法

6.3 动手：摇骰子赌博机

6.4 动手：REINFORCE 控制 CartPole

6.5 动手：价值基线控制 CartPole

6.6 动手：带价值基线的策略梯度

7. Actor-Critic 方法

7.1 优势函数

7.2 Actor-Critic 同步更新

7.3 Critic 训练细节

7.4 动手：Pendulum 连续控制

7.5 动手：AlphaGo 复现

7.6 动手：BipedalWalker 双足行走

7.7 动手：Actor-Critic 前沿应用

8. PPO：稳定的 Actor-Critic

8.1 动手：PPO 控制 BipedalWalker

8.2 信任域约束与 PPO-Clip

8.3 GAE 优势估计

8.4 动手：PPO 数学推导

8.5 动手：PPO 游戏项目

8.6 动手：长程任务与规划

9. Off-Policy 与 Model-Based RL

9.1 确定性策略梯度与 DDPG

9.2 TD3 与 SAC

9.3 基于模型的强化学习

9.4 搜索与世界模型

Part III · 高级强化学习方法（选修）

10. 离线强化学习（选修）

10.1 离线数据与分布偏移

10.2 基于序列建模的离线强化学习

10.3 离线强化学习与偏好数据

11. 模仿学习、逆强化学习与元强化学习（选修）

11.1 行为克隆与交互式模仿学习

11.2 逆强化学习与 GAIL

11.3 元强化学习与上下文适应

12. 探索、多智能体与分层强化学习（选修）

12.1 内在动机与探索

12.2 多智能体强化学习

12.3 分层强化学习与世界模型

Part IV · 大语言模型对齐与后训练

13. RLHF 训练流水线

13.1 从基座模型到指令对齐

13.2 监督微调 SFT

13.3 AI 反馈与安全原则

13.4 强化学习微调

13.5 大规模训练工程

13.6 对齐评测

13.7 扩展实战：Reward Hacking 与数据飞轮

13.8 动手：使用 veRL 和 PPO 训练 GSM8K

13.9 补充阅读：PPO-RLHF 训练循环

14. 偏好优化与 DPO

14.1 DPO 目标与推导

14.2 DPO 训练与评测指标

14.3 DPO 改进方法

14.4 动手：DPO 对齐实验

15. GRPO 与可验证奖励

15.1 GRPO 训练机制

15.2 DeepSeek-R1-Zero 与 DAPO

15.3 动手：构建 RLVR 奖励

15.4 GRPO 改进方法

15.5 强化学习环境与验证器

15.6 动手：GRPO 训练金融工具调用

15.7 在线策略蒸馏 OPD

15.8 动手：使用 veRL 训练代码生成

16. 推理模型与推理时计算

16.1 从语言模型到推理模型

16.2 R1-Zero 纯强化学习推理

16.3 Test-Time Scaling

16.4 Hybrid Thinking 与预算控制

16.5 自适应思考

16.6 推理链的展示与对齐

17. 过程奖励与推理时搜索

17.1 结果奖励与过程奖励

17.2 判别式 PRM

17.3 生成式 PRM

17.4 形式化 Verifier

17.5 推理时搜索

17.6 并行推理与答案汇总

18. 大模型 RL 工业实践

18.1 从单机实验到工业训练

18.2 工业后训练流水线

18.3 训练稳定性

18.4 分布式 RL 训练

18.5 大规模 RL 数据工程

Part V · Agentic RL

19. Agentic RL 系统

19.1 Agentic RL 基础

19.2 多轮强化学习

19.3 轨迹信用分配

19.4 工具调用与轨迹生成

19.5 Search-Augmented RL

19.6 Code Interpreter RL

19.7 多智能体协作

19.8 动手：使用 rLLM 训练 DeepCoder Agent

19.9 动手：使用 rLLM 训练金融分析 Agent

19.10 动手：从零实现 Agentic RL 训练系统

20. 代码智能体强化学习

20.1 SWE-RL 基础

20.2 Code World Model 与 DeepSWE

20.3 Self-Play SWE-RL

21. Deep Research 与浏览器 Agent

21.1 浏览器 RL Harness

21.2 评测基准与开源项目

22. Computer Use 与 GUI Agent

22.1 GUI Agent 训练

22.2 Prompt Injection 与指令层级

Part VI · 多模态强化学习（选修）

23. 视觉语言模型 RL（选修）

23.1 视觉奖励与幻觉

23.2 视觉反思：带着证据回答

23.3 动手：多模态 GRPO

23.4 动手：GeoQA 几何推理

24. 前沿多模态 RL（选修）

24.1 音频奖励设计

24.2 从音频奖励到实时 Agent

24.3 VLA 模型

24.4 图像生成的强化学习对齐

24.5 视频的时间一致性

Part VII · 安全、评测与研究前沿（选修）

25. 奖励黑客与强化学习评测（选修）

25.1 奖励与任务的背离

25.2 RLVR 的假性收益

25.3 潜伏行为与条件切换

25.4 奖励漏洞的防御

25.5 评测协议与可复现性

26. 自博弈、规模化与研究前沿（选修）

26.1 自博弈与训练数据生成

26.2 训练时与测试时的规模扩展

26.3 多智能体协同学习

26.4 LLM 驱动的算法搜索

附录

A. 训练调试与工程

A.1 训练跑偏

A.2 轨迹生成与策略更新

A.3 沙箱环境

A.4 评估模型改进

B. 核心算法实现

B.1 SFT 与 KL 散度

B.2 PPO 与 GAE

B.3 DPO 方法家族

B.4 GRPO 与奖励模型

B.5 DAPO

B.6 Softmax 与交叉熵

B.7 采样方法

B.8 注意力机制

C. 学习资源与参考资料

C.1 学习资源与项目路线

C.2 GPU 小时估算表

C.3 训练指标词典

C.4 工业实践练习

D. 数学基础

D.1 线性代数

D.1.1 向量与矩阵

D.1.2 贝尔曼方程的矩阵形式

D.1.3 点积、范数与函数近似

D.1.4 收敛性、特征值与信任域

D.1.5 线性代数公式速查与练习

D.2 概率、期望与随机估计

D.2.1 概率、条件概率与期望

D.2.2 从随机轨迹到状态价值

D.2.3 蒙特卡洛、增量平均与重要性采样

D.2.4 轨迹概率、Baseline 与 GAE

D.2.5 贝尔曼期望方程与动作价值

D.2.6 概率统计公式速查与练习

D.3 微积分与优化

D.3.1 导数、梯度与链式法则

D.3.2 策略梯度与优势函数

D.3.3 PPO 裁剪、Adam 与更新稳定性

D.3.4 策略梯度、Taylor 与 GRPO 推导

D.3.5 强化学习优化公式汇总

D.3.6 微积分与优化公式速查与练习

D.4 信息论与分布距离

D.4.1 自信息、熵与探索

D.4.2 交叉熵与 KL 散度

D.4.3 PPO、RLHF 与 DPO 中的信息论

D.4.4 互信息与表征学习

D.4.5 对齐方法的信息论公式汇总

D.4.6 信息论公式速查与练习

大纲

在 GitHub 上编辑此页

最后更新:

Pager

下一页强化学习导论

现代强化学习实战课程