Hands-on Modern RL

跳转到正文

Hands on Modern RL

Main Navigation 预备知识基础与经典 RL 深度强化学习大模型对齐 Agentic 与多模态安全与前沿附录

简体中文

English

简体中文

English

外观

EN

Sidebar Navigation

序章 · 导论

强化学习导论

强化学习发展史

环境配置

Part I · 基础与经典强化学习

1. CartPole 入门

1.0 本章导读

1.1 CartPole 原理

1.2 训练指标设计

1.3 PPO 训练可视化

2. 强化学习过程的基本定义

2.1 探索和利用问题

2.2 MDP 与马尔可夫性

2.3 策略、价值与回报

2.4 折扣、轨迹与 POMDP

3. 价值函数与贝尔曼方程

3.1 V/Q 函数与贝尔曼期望方程

3.2 贝尔曼最优、压缩映射与最优策略

3.3 价值函数数值实验

4. 动态规划、蒙特卡洛与时序差分

4.1 动态规划、蒙特卡洛、时序差分

4.2 算法分类：on/off-policy 与 online/offline

4.3 奖励函数设计

Part II · 深度强化学习

5. 深度 Q 网络

5.1 从 Q-Learning 到 DQN

5.2 DQN 改进家族

5.3 Distributional RL

5.4 LunarLander / Atari 实验

6. 策略梯度方法

6.0 本章导读

6.1 策略梯度定理

6.2 REINFORCE 基线

6.3 策略梯度改进

7. Actor-Critic 架构

7.1 优势函数

7.2 Actor-Critic 同步更新

7.3 实验

8. PPO 信任域方法

8.1 TRPO 信任域

8.2 PPO-Clip 工程实现

8.3 GAE 奖励模型

8.4 长程任务实验

9. 连续控制与基于模型 RL

9.1 确定性策略梯度 DDPG

9.2 TD3 / SAC

9.3 Model-Based RL 与 Dyna/PETS/MBPO

9.4 AlphaZero、MuZero 与 Dreamer V3

Part III · 高级 RL 方法

10. 离线强化学习

10.1 离线 RL 的挑战与经典方法

10.2 Decision Transformer、Trajectory Transformer 与 Diffuser

10.3 离线 RL 实验与 LLM 视角

11. 模仿学习、逆向 RL 与元 RL

11.1 行为克隆与 DAgger

11.2 逆向 RL 与 GAIL

11.3 元 RL 与 MAML/RL²/PEARL/In-Context RL

12. 探索、多智能体与分层 RL

12.1 内在动机探索与 ICM/RND/NGU/Agent57

12.2 多智能体 RL 与 CTDE/MADDPG/MAPPO

12.3 分层 RL 生成式世界模型

Part IV · 大语言模型对齐与后训练

13. RLHF 训练流水线

13.0 本章导读

13.1 基座模型到指令对齐

13.2 SFT 指令微调

13.3 Bradley-Terry 奖励模型

13.4 RL 微调流程

13.5 大规模训练工程

13.6 评测方法

13.7 veRL PPO 训练 GSM8K

14. 大模型 RL 工业实战

14.1 训练框架对比与双轨奖励

14.2 现代后训练流水线范式

14.3 优化器与训练稳定性

14.4 分布式同步、异步与 MoE 训练

15. 偏好对齐与 DPO 家族

15.1 DPO 推导

15.2 DPO 训练指标

15.3 DPO 原理、数学与家族选型

16. GRPO、RLVR 与 Verifier 工程

16.1 GRPO 核心机制

16.2 R1-Zero 范式 / DAPO

16.3 RLVR 可验证奖励

16.4 GRPO 改进家族

16.5 RL Environments 与 Verifier 工程

16.6 金融 API 工具调用 GRPO 实验

16.7 OPD 在线蒸馏

16.8 veRL 代码生成 RL 实验

17. 推理模型与 Test-Time Scaling

17.1 推理模型的兴起

17.2 R1-Zero 纯 RL 训练

17.3 Test-time Compute Scaling

17.4 Hybrid Thinking 思考预算

17.5 自适应思考

17.6 推理链的可读性与对齐

18. 过程奖励模型与推理时搜索

18.1 Outcome vs Process 奖励

18.2 判别式 PRM 路线

18.3 生成式 PRM 路线

18.4 形式化 PRM Verifier

18.5 推理时搜索

18.6 并行协调推理总结

19. Constitutional AI 与 RLAIF

19.0 本章导读

19.1 HHH 原则 Claude 实践

19.2 RLAIF 工程化宪法扩展

Part V · Agentic 强化学习

20. 工具调用、多轮交互与多智能体 RL

20.0 本章导读

20.1 Agentic RL 总览

20.2 多轮 RL 形式化

20.3 轨迹信用分配

20.4 工具调用 RL

20.5 Search-Augmented RL

20.6 Code Interpreter RL 工业实战

20.7 多智能体协作与 Agent Swarm

21. 代码智能体强化学习

21.0 本章导读

21.1 SWE-RL 基础实验

21.2 Code World Model 与 DeepSWE

21.3 Self-Play SWE-RL 总结

22. Deep Research 与浏览器智能体

22.0 本章导读

22.1 浏览器 RL harness 工程

22.2 评测基准与开源项目

23. Computer Use 与 GUI Agent

23.0 本章导读

23.1 GUI Agent 训练实践

23.2 指令层级 Prompt Injection 防御

Part VI · 多模态强化学习

24. 视觉语言模型 RL

24.0 本章导读

24.1 视觉奖励挑战

24.2 视觉反思 RL

24.3 中国多模态前沿

24.4 GeoQA 几何推理实验

25. 音频语音 RL

25.0 本章导读

25.1 RLVR → RLHF 音频奖励设计

25.2 多模态音频 Agent 未来方向

26. 具身智能与 VLA 模型

26.0 本章导读

27. 视觉生成 RL

27.1 视觉生成与 DanceGRPO

27.2 多奖励视频 RLHF 与物理感知生成

Part VII · 安全、评估与研究前沿

28. 奖励黑客与 RL 评估

28.0 本章导读

28.1 经典失败模式

28.2 RLVR 假性收益与工业失败案例

28.3 Anthropic 失准研究

28.4 防御机制总结

28.5 评估原则与现代评估 Harness

29. 自我博弈、规模化与未来方向

29.0 本章导读

29.1 自我博弈基础与 LLM 自我博弈

29.2 RL Scaling Laws 与 Foundation Model RL

29.3 In-Context RL 与未来十年

29.4 进化式 LLM 搜索与科学发现

附录

A. 训练调试与工程实践

A.0 附录导读

A.1 训练调试指南

A.2 训练系统底座

A.3 Agent 沙箱

A.4 评测基准

B. 核心算法实现

B.0 附录导读

B.1 SFT 与 KL

B.2 PPO 与 GAE

B.3 DPO 家族

B.4 GRPO 与奖励模型

B.5 Softmax 与交叉熵

B.6 采样方法

B.7 注意力机制

B.8 DAPO

C. 学习资源与参考资料

C.0 附录导读

C.1 论文阅读路线图

C.2 GPU 小时估算表

C.3 训练指标词典

C.4 工业实战练习

D. 数学基础

D.0 附录导读

D.1 线性代数

D.1.0 概览

基础对象

贝尔曼矩阵

函数近似

收敛与信任域

公式与练习

D.2 概率、期望与随机估计

D.2.0 概览

概率基础

回报与价值

采样估计

轨迹与 GAE

贝尔曼期望

公式与练习

D.3 微积分与优化

D.3.0 概览

导数与梯度

策略梯度

PPO 与 Adam

推导工具

完整公式

公式与练习

D.4 信息论与分布距离

D.4.0 概览

熵与探索

交叉熵与 KL

RLHF 与 DPO

互信息

完整公式

公式与练习

大纲

在 GitHub 上编辑此页

最后更新:

Pager

下一页强化学习导论

现代强化学习实战课程