Hands-on Modern RL

跳转到正文

Hands on Modern RL

Main Navigation 预备知识入门实战经典方法大模型对齐前沿专题

简体中文

简体中文

外观

Sidebar Navigation

前言

课程导读

强化学习简史

环境安装指南

基础导论

1. CartPole 倒立摆

1.1 基本概念

1.2 训练指标

2. DPO 偏好微调

2.1 DPO 推导

2.2 训练指标

本篇小结

核心理论与方法

3. MDP 与价值函数

3.1 两台老虎机问题

3.2 马尔可夫决策过程

3.3 价值函数与贝尔曼方程

3.4 DP、MC 与 TD

3.5 从 Q 到 Q-Learning

3.6 从价值到策略

3.7 数据从哪里来

3.8 奖励函数设计

3.9 本章总结

4. 深度 Q 网络

4.1 DQN 的必要性

4.2 DQN 的结构

4.3 动手：LunarLander 实战

4.4 DQN 改进家族

4.5 动手：视觉游戏项目

5. Policy-Based 方法

5.1 为什么需要策略梯度

5.2 策略梯度定理与 REINFORCE

5.3 动手：策略梯度实战 CartPole

5.4 策略梯度的方差与基线

5.5 动手：带基线的策略梯度

6. Actor-Critic

6.1 优势函数

6.2 Critic 训练

6.3 Actor-Critic 架构

6.4 动手：Pendulum 摆杆平衡

6.5 动手：BipedalWalker 双足行走

6.6 Actor-Critic 的前沿大规模应用

7. PPO

7.1 动手：BipedalWalker 连续控制

7.2 PPO 数学推导

7.3 信任域与裁剪机制

7.4 GAE 与奖励模型

7.5 PPO 游戏项目实践导论

7.6 长程任务中的 RL

本篇小结

大模型 RL

8. RLHF 全流程

8.1 Base 模型与对齐助手

8.2 RLHF 流水线

8.3 SFT 指令微调

8.4 奖励模型

8.5 PPO-RLHF 对齐

8.6 评估与奖励黑客

8.7 动手：veRL PPO 训练 GSM8K

8.8 扩展实战

9. 后训练对齐

9.1 DPO 原理、数学与选型

9.2 GRPO 训练与核心机制

9.3 R1-Zero 范式

9.4 RLVR 可验证奖励

9.5 动手：金融 API 工具调用 GRPO

9.6 OPD 在线蒸馏

9.7 动手：用 veRL 做代码生成强化学习

9.8 后训练工业实践

10. Agentic RL

10.1 多轮交互

10.2 工具调用

10.3 评测与案例

10.4 动手：Agent 数据制造

10.5 动手：rLLM DeepCoder

10.6 动手：金融问答 Agent

10.7 Deep Research

10.8 Agentic RL 训练系统

10.9 延伸阅读

本篇小结

前沿

11. VLM 强化学习

11.1 VLM 强化训练

11.2 视觉奖励信号

11.3 VLM RL 推理框架

11.4 视觉生成 RL

11.5 动手：GeoQA 几何推理

12. 未来趋势

12.1 具身智能

12.2 模型式强化学习

12.3 自我博弈

12.4 多智能体

12.5 离线强化学习

12.6 规模化趋势

本篇小结

附录

A. 训练调试指南

B. RL 工程实践

B.1 训练系统底座

B.2 Agent 沙箱

B.3 评测基准

B.4 训练指标词典

B.5 工业实战练习

C. 手写代码速记

C.1 SFT 与 KL

C.2 PPO 与 GAE

C.3 DPO 家族

C.4 GRPO 与奖励模型

C.5 Softmax 与交叉熵

C.6 采样方法

C.7 注意力机制

C.8 DAPO

D. 学习资料与复现项目推荐

E. 强化学习的数学基础

E.1 数学对象与线性代数

基础对象

贝尔曼矩阵

函数近似

收敛与信任域

公式与练习

E.2 概率、期望与随机估计

概率基础

回报与价值

采样估计

轨迹与 GAE

贝尔曼期望

公式与练习

E.3 微积分与优化

导数与梯度

策略梯度

PPO 与 Adam

推导工具

完整公式

公式与练习

E.4 信息论与分布距离

熵与探索

交叉熵与 KL

RLHF 与 DPO

互信息

完整公式

公式与练习

大纲

在 GitHub 上编辑此页

最后更新:

Pager

下一页课程导读

现代强化学习实战课程

Copyright © WalkingLabs