Hands-on Modern RL

Skip to content

Hands-on Modern RL

Main Navigation 前言与导论基础导论核心理论与方法大模型强化学习前沿与进阶专题

Appearance

Sidebar Navigation

前言

课程导读

强化学习简史

环境安装指南

基础导论

1. CartPole 倒立摆

1.1 状态、动作、奖励与策略

1.2 奖励、熵、Value Loss 与 KL

2. DPO 偏好微调

2.1 Post-Training 流水线与 DPO 推导

2.2 Loss、Reward Margin 与 Accuracy

本篇小结

核心理论与方法

3. MDP 与价值函数

3.1 两台老虎机：RL 的最小问题

3.2 MDP：RL 的形式化框架

3.3 V(s) 与贝尔曼方程

3.4 DP、MC、TD

3.5 Q(s, a)

3.6 策略目标 J(theta)

3.7 算法数据来源

3.8 Reward Shaping

3.9 本章总结

4. Q-Learning 与 DQN

4.1 动手：Q-Learning 与 GridWorld

4.2 从表格 Q 到 DQN

4.3 Replay、Target 与 CNN

4.4 训练过程分析

4.5 Mountain Car 与稀疏奖励

4.6 Double、Dueling 与 Rainbow

4.7 项目：DQN 实战与视觉游戏

5. 策略梯度与 REINFORCE

5.1 动手：摇骰子赌博机

5.2 策略梯度与 REINFORCE

5.3 动手：Baseline 降方差

6. Actor-Critic

6.1 优势函数

6.2 TD 误差训练 Critic

6.3 Actor-Critic 架构

6.4 项目：AlphaGo 简单复现

7. PPO

7.1 动手：PPO 训练 LunarLander

7.2 PPO 数学推导

7.3 信任域与裁剪

7.4 GAE 与奖励模型

本篇小结

大模型 RL

8. RLHF 全流程

8.1 为什么 base model 还不是 assistant

8.2 标准 RLHF 流水线

8.3 SFT：教模型按指令回答

8.4 Reward Model：教一个裁判

8.5 PPO-RLHF：按奖励练习

8.6 评估：RLHF 到底有没有变好

8.7 从小参数到大参数

8.8 旧稿补充与实战材料

9. 后训练对齐

9.1 DPO、IPO 与 KTO

9.2 动手：DPO 对齐实验

9.3 GRPO 实践与机制

9.4 DeepSeek-R1 与 DAPO

9.5 RLVR：可验证奖励

9.6 On-Policy Distillation

10. Agentic RL

10.1 多轮交互与信用分配（含 ORM vs PRM 实验）

10.2 工具调用、轨迹合成与 Agentic 工程

10.3 工业实践、评测与 Badcase

10.4 项目一：多工具 Code Agent

10.5 项目二：Deep Research Agent

10.6 延伸阅读

本篇小结

前沿

11. VLM 强化学习

11.1 动手：GRPO 训练 VLM

11.2 视觉奖励与幻觉

11.3 Open-R1、R1-V 与 VLM-R1

11.4 视觉生成 RL

12. 未来趋势

12.1 具身智能

12.2 Model-Based RL

12.3 Self-Play 与自进化

12.4 LLM 多智能体 RL

12.5 离线强化学习

12.6 RL Scaling 展望

本篇小结

附录

A. 训练调试指南

B. RL 工程实践

B.1 训练系统底座

B.2 Agent 沙箱与工具调度

B.3 RL 与 Agent Benchmark

B.4 训练指标词典

B.5 工业实战练习

D. 学习资料与复现项目推荐

E. 强化学习的数学基础

E.1 数学对象与线性代数

基础对象

贝尔曼矩阵

函数近似

收敛与信任域

公式与练习

E.2 概率、期望与随机估计

概率基础

回报与价值

采样估计

轨迹与 GAE

贝尔曼期望

公式与练习

E.3 微积分与优化

导数与梯度

策略梯度

PPO 与 Adam

推导工具

完整公式

公式与练习

E.4 信息论与分布距离

熵与探索

交叉熵与 KL

RLHF 与 DPO

互信息

完整公式

公式与练习

Outline

Edit this page on GitHub

Last updated:

Pager

Next page课程导读

Built for reusable bilingual course delivery

Copyright © WalkingLabs