7.2 Critic 训练

上一节定义了优势函数 $A(s,a)\approx \delta =r+\gamma V(s^{\prime })-V(s)$，并引出了 Critic 网络作为 $V(s)$ 的估计器。本节展开第 3 章速览过的 DP、MC、TD 三种方法在 Critic 训练中的具体实现。

本节会用到的前置知识

• DP/MC/TD 三种价值估计方法——三种方法的原理和对比
• 贝尔曼期望方程——DP 更新的理论基础
• TD Error $\delta$——TD 方法的核心信号

沿用第 3 章的三格走廊环境，固定策略 $\pi$：在 $S$ 和 $M$ 均以 0.8 概率右走、0.2 概率左走。环境转移和奖励如下：

当前状态	动作	策略概率	下一状态	奖励
$S$	左走	0.2	$S$	$-2$
$S$	右走	0.8	$M$	$-1$
$M$	左走	0.2	$S$	$-2$
$M$	右走	0.8	$G$	$-1$
$G$	结束	1.0	无	$0$

取 $\gamma =1$。三种方法都估计同一张价值表，区别只在更新目标的来源。

理论基准

如果完全知道环境的转移概率 $P$ 和奖励函数 $R$（回顾：MDP 五元组），可以直接用贝尔曼期望方程迭代 Critic：

$$V_{\varphi }(s)\leftarrow \sum _a\pi (a|s)\left[R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }|s,a)V_{\varphi }(s^{\prime })\right]$$

这个式子的每个符号含义如下：

符号	含义
$V_{\varphi }(s)$	Critic 对状态 $s$ 的当前价值估计，参数为 $\varphi$
$a$	在状态 $s$ 可以选择的动作（如左走、右走）
$\pi (a\mid s)$	当前策略在状态 $s$ 选择动作 $a$ 的概率
$R(s,a)$	在状态 $s$ 执行动作 $a$ 后获得的即时奖励
$s^{\prime }$	执行动作 $a$ 后可能到达的下一状态
$P(s^{\prime }\mid s,a)$	在状态 $s$ 做动作 $a$ 后转移到 $s^{\prime }$ 的概率
$V_{\varphi }(s^{\prime })$	Critic 对下一状态 $s^{\prime }$ 的当前价值估计
$\gamma$	折扣因子，决定下一状态价值打多少折扣

对走廊的 $S$ 展开。外层按策略对动作加权，内层按转移概率对下一状态加权。由于转移确定（右走必到右边、左走必撞墙或退回），内层 ${\sum }_{s^{\prime }}$ 只有真正到达的下一状态概率为 1：

$$\begin{array}{rl}{V}_{\varphi }(S)& \leftarrow \pi (\text{右}\mid S)\left[R(S,\text{右})+V_{\varphi }(M)\right]+\pi (\text{左}\mid S)\left[R(S,\text{左})+V_{\varphi }(S)\right]\\ & =0.8\left[-1+V_{\varphi }(M)\right]+0.2\left[-2+V_{\varphi }(S)\right]\end{array}$$

对 $M$ 同理，右走到终点 $G$、左走退回 $S$：

$$\begin{array}{rl}{V}_{\varphi }(M)& \leftarrow \pi (\text{右}\mid M)\left[R(M,\text{右})+V_{\varphi }(G)\right]+\pi (\text{左}\mid M)\left[R(M,\text{左})+V_{\varphi }(S)\right]\\ & =0.8\left[-1+V_{\varphi }(G)\right]+0.2\left[-2+V_{\varphi }(S)\right]\end{array}$$

反复对所有状态执行这个更新，$V_{\varphi }$ 会收敛到 $V^{\pi }$ 的精确值。下面从全 0 的初始表开始，逐轮代入数字。

第 1 轮——旧表全为 0，目标只剩下眼前动作代价的平均：

$$\begin{array}{rl}{V}_1(S)& =0.8[-1+V_0(M)]+0.2[-2+V_0(S)]\\ & =0.8(-1+0)+0.2(-2+0)=-0.8-0.4=-1.2\end{array}$$

$$\begin{array}{rl}{V}_1(M)& =0.8[-1+V_0(G)]+0.2[-2+V_0(S)]\\ & =0.8(-1+0)+0.2(-2+0)=-0.8-0.4=-1.2\end{array}$$

第 2 轮——把第 1 轮结果作为旧表：

$$\begin{array}{rl}{V}_2(S)& =0.8[-1+V_1(M)]+0.2[-2+V_1(S)]\\ & =0.8[-1+(-1.2)]+0.2[-2+(-1.2)]\\ & =0.8\times (-2.2)+0.2\times (-3.2)=-1.76-0.64=-2.4\end{array}$$

$$\begin{array}{rl}{V}_2(M)& =0.8[-1+V_1(G)]+0.2[-2+V_1(S)]\\ & =0.8[-1+0]+0.2[-2+(-1.2)]\\ & =0.8\times (-1)+0.2\times (-3.2)=-0.8-0.64=-1.44\end{array}$$

第 3 轮——把第 2 轮结果作为旧表：

$$\begin{array}{rl}{V}_3(S)& =0.8[-1+V_2(M)]+0.2[-2+V_2(S)]\\ & =0.8[-1+(-1.44)]+0.2[-2+(-2.4)]\\ & =0.8\times (-2.44)+0.2\times (-4.4)=-1.952-0.88=-2.832\end{array}$$

$$\begin{array}{rl}{V}_3(M)& =0.8[-1+V_2(G)]+0.2[-2+V_2(S)]\\ & =0.8(-1+0)+0.2[-2+(-2.4)]\\ & =-0.8+0.2\times (-4.4)=-0.8-0.88=-1.68\end{array}$$

汇总每轮结果：

轮次	$V(S)$	$V(M)$	$V(G)$
0	0	0	0
1	-1.2	-1.2	0
2	-2.4	-1.44	0
3	-2.832	-1.68	0
收敛	-3.375	-1.875	0

每轮更新中，$S$ 和 $M$ 的值都包含了"按当前策略行动的平均后果"——右走通常更好，但策略偶尔会左走，绕路和撞墙的代价也必须进入价值表。

在这个基础上，还可以进行策略改进——在状态 $s$ 选择让 $Q(s,a)$ 最大的动作（回顾：贪心最优策略）。"评估策略 → 改进策略 → 再评估"的循环就是策略迭代（Policy Iteration），理论上保证收敛到最优策略。

但在真实问题中，几乎不可能知道完整的 $P$ 和 $R$。DP 在 Actor-Critic 中的角色更多是理论基准——它告诉你"知道一切时 Critic 的最优答案"。

用完整轨迹更新 Critic

跑完一个完整的 episode，用实际回报 $G_t$ 来更新 Critic。Critic 的损失函数是均方误差：

$$L_{\text{Critic}}={\left(G_t-V_{\varphi }(s)\right)}^2\text{\hspace{1em}(6.3)}$$

这个式子中每个符号的含义：

符号	含义
$L_{\text{Critic}}$	Critic 的损失函数，衡量预测偏差的大小
$G_t$	从时刻 $t$ 开始到 episode 结束的实际折扣回报（MC 目标）
$V_{\varphi }(s)$	Critic 对状态 $s$ 的当前价值预测

$G_t-V_{\varphi }(s)$ 是 Critic 的预测误差——实际拿了 $G_t$ 分，但之前预测是 $V_{\varphi }(s)$ 分。损失是这个误差的平方。

具体数值例子

假设采样到一条轨迹：

$$S\stackrel{-2}{\to }S\stackrel{-1}{\to }M\stackrel{-2}{\to }S\stackrel{-1}{\to }M\stackrel{-1}{\to }G$$

取 $\gamma =1$，从每次访问位置到终点，倒着累加得到 $G_t$：

访问位置	状态	后续奖励	$G_t$ 的计算	MC 目标 $G_t$
第 1 步	$S$	$-2,-1,-2,-1,-1$	$-2+(-1)+(-2)+(-1)+(-1)$	$-7$
第 2 步	$S$	$-1,-2,-1,-1$	$-1+(-2)+(-1)+(-1)$	$-5$
第 3 步	$M$	$-2,-1,-1$	$-2+(-1)+(-1)$	$-4$
第 4 步	$S$	$-1,-1$	$-1+(-1)$	$-2$
第 5 步	$M$	$-1$	$-1$	$-1$

损失计算与梯度更新

假设 Critic 是一张简单的价值表，当前 $V(S)=0$、$V(M)=0$。以第 1 次访问 $S$ 为例，MC 目标 $G_t=-7$：

$$L=(G_t-V(S){)}^2=(-7-0{)}^2=49$$

梯度下降更新（学习率 $\alpha =0.5$）：

$$V(S)\leftarrow V(S)-\alpha \cdot \frac{\partial L}{\partial V(S)}=V(S)-\alpha \cdot 2(V(S)-G_t)$$

这里 $\frac{\partial L}{\partial V(S)}=2(V(S)-G_t)=2(0-(-7))=14$，但更常见的是将 $\frac{1}{2}$ 吸收进学习率，直接写为

$$V(S)\leftarrow V(S)+\alpha (G_t-V(S))=0+0.5\times (-7-0)=-3.5$$

逐次访问的完整更新过程如下：

被更新的状态	MC 目标 $G_t$	旧值	更新计算	新值
第 1 次 $S$	$-7$	0	$0+0.5\times (-7-0)=-3.5$	$-3.5$
第 2 次 $S$	$-5$	$-3.5$	$-3.5+0.5\times [-5-(-3.5)]=-3.5+0.5\times (-1.5)=-4.25$	$-4.25$
第 1 次 $M$	$-4$	0	$0+0.5\times (-4-0)=-2$	$-2$
第 3 次 $S$	$-2$	$-4.25$	$-4.25+0.5\times [-2-(-4.25)]=-4.25+0.5\times 2.25=-3.125$	$-3.125$
第 2 次 $M$	$-1$	$-2$	$-2+0.5\times [-1-(-2)]=-2+0.5\times 1=-1.5$	$-1.5$

MC 方法（回顾：MC 价值更新 $V(s)\leftarrow V(s)+\alpha [G_t-V(s)]$）给出无偏估计（用的是真实回报），但有两个限制：

1. 必须等 episode 结束才能计算 $G_t$，不能边走边学
2. 方差大——不同 episode 的 $G_t$ 波动剧烈

在神经网络实现中，MC 方法等价于：跑完一个 episode，收集所有 $(s_t,G_t)$ 对，然后用这些数据做一次梯度下降更新 Critic 的参数 $\varphi$。

单步更新

用TD Error 来更新 Critic。Critic 的损失函数是：

$$L_{\text{Critic}}={\left(r+\gamma V_{\varphi }(s^{\prime })-V_{\varphi }(s)\right)}^2={\delta }^2\text{\hspace{1em}(6.4)}$$

这个式子中每个符号的含义：

符号	含义
$L_{\text{Critic}}$	Critic 的损失函数，衡量 TD Error 的大小
$r$	当前步获得的即时奖励
$\gamma$	折扣因子
$V_{\varphi }(s^{\prime })$	Critic 对下一状态 $s^{\prime }$ 的当前价值预测
$V_{\varphi }(s)$	Critic 对当前状态 $s$ 的当前价值预测
$\delta$	TD Error，即 $r+\gamma V_{\varphi }(s^{\prime })-V_{\varphi }(s)$

最小化 ${\delta }^2$ 就是让 Critic 的预测越来越准确。$\delta$ 的含义是：走了一步之后，"实际拿到的奖励 + 下一步预测"与"当前预测"之间的差。$\delta >0$ 表示这一步比预期好，$\delta <0$ 表示比预期差。

具体数值例子

使用与 MC 相同的轨迹：

$$S\stackrel{-2}{\to }S\stackrel{-1}{\to }M\stackrel{-2}{\to }S\stackrel{-1}{\to }M\stackrel{-1}{\to }G$$

初始价值表全为 0，学习率 $\alpha =0.5$。TD 每走一步就更新一次，读取的是当前最新的表。

第 1 步：$S\stackrel{-2}{\to }S$。当前 $V(S)=0$，$V(S^{\prime })=V(S)=0$。

$$\delta =r+\gamma V(s^{\prime })-V(s)=-2+1\times 0-0=-2$$

$$V(S)\leftarrow V(S)+\alpha \cdot \delta =0+0.5\times (-2)=-1$$

第 2 步：$S\stackrel{-1}{\to }M$。当前 $V(S)=-1$（已被上一步更新），$V(M)=0$。

$$\delta =-1+1\times 0-(-1)=-1+0+1=0$$

$$V(S)\leftarrow -1+0.5\times 0=-1$$

$\delta =0$ 说明"拿了 $-1$ 然后到了 $V(M)=0$ 的状态"恰好等于之前对 $V(S)$ 的估计 $-1$，预测没有偏差。

第 3 步：$M\stackrel{-2}{\to }S$。当前 $V(M)=0$，$V(S)=-1$。

$$\delta =-2+1\times (-1)-0=-3$$

$$V(M)\leftarrow 0+0.5\times (-3)=-1.5$$

注意这里 $V(S)=-1$ 是第 1 步刚更新过的值——TD 立刻把刚学到的信息拿来用了。

第 4 步：$S\stackrel{-1}{\to }M$。当前 $V(S)=-1$，$V(M)=-1.5$。

$$\delta =-1+1\times (-1.5)-(-1)=-1.5$$

$$V(S)\leftarrow -1+0.5\times (-1.5)=-1+(-0.75)=-1.75$$

第 5 步：$M\stackrel{-1}{\to }G$。当前 $V(M)=-1.5$，$V(G)=0$。

$$\delta =-1+1\times 0-(-1.5)=0.5$$

$$V(M)\leftarrow -1.5+0.5\times 0.5=-1.5+0.25=-1.25$$

$\delta =0.5>0$，说明从 $M$ 右走到终点的体验比 $V(M)$ 当前估计要好，$V(M)$ 因此上调。

逐步汇总表

步骤	实际发生的一步	被更新的状态	旧 $V(s)$	$r$	$V(s^{\prime })$	TD 目标 $r+\gamma V(s^{\prime })$	$\delta$	新 $V(s)$
1	$S\stackrel{-2}{\to }S$	$S$	0	$-2$	0	$-2+0=-2$	$-2$	$-1$
2	$S\stackrel{-1}{\to }M$	$S$	$-1$	$-1$	0	$-1+0=-1$	$0$	$-1$
3	$M\stackrel{-2}{\to }S$	$M$	0	$-2$	$-1$	$-2+(-1)=-3$	$-3$	$-1.5$
4	$S\stackrel{-1}{\to }M$	$S$	$-1$	$-1$	$-1.5$	$-1+(-1.5)=-2.5$	$-1.5$	$-1.75$
5	$M\stackrel{-1}{\to }G$	$M$	$-1.5$	$-1$	0	$-1+0=-1$	$0.5$	$-1.25$

TD 损失计算

以第 3 步为例，$\delta =-3$：

$$L={\delta }^2=(-3{)}^2=9$$

梯度下降更新方向：

$$\frac{\partial L}{\partial V(M)}=-2\delta =-2\times (-3)=6$$

参数沿 $-\frac{\partial L}{\partial V(M)}$ 方向移动，即 $V(M)$ 下降。实际更新中等效为 $V(M)\leftarrow V(M)+\alpha \cdot \delta$，与上表一致。

TD 方法（回顾：TD(0) 更新 $V(s)\leftarrow V(s)+\alpha [r+\gamma V(s^{\prime })-V(s)]$）的优势：

1. 不需要等 episode 结束——每走一步就能更新
2. 方差低——$V_{\varphi }(s^{\prime })$ 作为"锚点"稳定了估计
3. 与 Actor 的更新节奏一致——两者都是走一步更新一次

代价是引入了偏差：$V_{\varphi }(s^{\prime })$ 本身也是一个估计值，不是真实的价值。这叫做自举（Bootstrapping）——用自己的估计来更新自己的估计。但实际中，这个偏差远小于方差降低带来的好处。

三种方法的对比

	DP	MC	TD
用于 Critic 训练？	理论基准	可以用	实际首选
需要 episode 结束？	不需要	需要	不需要
无偏？	是	是	否（有偏但方差低）
方差	低	高	中
自举	是	否	是

MC 与 TD 的数值对比

同一条轨迹 $S\stackrel{-2}{\to }S\stackrel{-1}{\to }M\stackrel{-2}{\to }S\stackrel{-1}{\to }M\stackrel{-1}{\to }G$，初始表全 0，$\alpha =0.5$，$\gamma =1$。

MC——等整局结束后才更新。第 1 次访问 $S$ 时目标为整条轨迹的完整回报：

$$G_0=(-2)+(-1)+(-2)+(-1)+(-1)=-7$$

$$V(S)\leftarrow 0+0.5\times (-7-0)=-3.5$$

MC 一次性用从起点到终点的全部信息来更新。

TD——走第 1 步后立刻更新。第 1 步只用到一步信息：

$$\delta =-2+V(S)-V(S)=-2+0-0=-2$$

$$V(S)\leftarrow 0+0.5\times (-2)=-1$$

TD 目标 $(-2)$ 远小于 MC 目标 $(-7)$，但 TD 不需要等整局结束。随着更多轨迹的积累，TD 的 $V(S)$ 也会逐步逼近真实值 $-3.375$。

两种方法最终收敛到同一个 $V^{\pi }$，但更新路径不同：MC 单次更新幅度大（$-3.5$），方差高；TD 单次更新幅度小（$-1$），但更频繁，方差低。

实际中，Actor-Critic 几乎都用 TD 方法来训练 Critic。在更高级的实现中（如第 5 章的 GAE），MC 和 TD 会被组合使用——通过参数 $\lambda$ 在两者之间插值，获得偏差和方差的最佳平衡。

Critic 训练的完整流程

将以上内容整合，Actor-Critic 的单步训练流程如下：

1. 交互：在状态 $s$ 下，Actor 选择动作 $a$，环境返回 $r$ 和 $s^{\prime }$
2. 前向传播：Critic 计算当前预测 $V_{\varphi }(s)$ 和下一步预测 $V_{\varphi }(s^{\prime })$
3. 计算 TD Error：$\delta =r+\gamma V_{\varphi }(s^{\prime })-V_{\varphi }(s)$
4. 更新 Critic：用 ${\delta }^2$ 作为损失更新 Critic 的参数 $\varphi$
5. 更新 Actor：用 $\delta$ 作为优势估计更新 Actor 的参数 $\theta$

具体数值 walkthrough

假设当前 Critic 的价值表为 $V(S)=-1$、$V(M)=-0.5$、$V(G)=0$，$\gamma =0.9$，Critic 学习率 ${\alpha }_{\varphi }=0.1$，Actor 学习率 ${\alpha }_{\theta }=0.01$。

第 1 步：交互

在状态 $S$，Actor 以概率 0.8 选择右走、0.2 选择左走。假设这次采样到右走，环境返回 $r=-1$，$s^{\prime }=M$。

第 2 步：前向传播

$$V_{\varphi }(S)=-1,V_{\varphi }(M)=-0.5$$

第 3 步：计算 TD Error

$$\delta =r+\gamma V_{\varphi }(s^{\prime })-V_{\varphi }(s)=-1+0.9\times (-0.5)-(-1)=-1+(-0.45)+1=-0.45$$

$\delta =-0.45<0$，说明从 $S$ 右走到 $M$ 的体验比当前预测要差——实际拿到 $-1$ 加上 $M$ 的估计 $-0.45$，总共 $-1.45$，低于对 $S$ 的估计 $-1$。

第 4 步：更新 Critic

$$L_{\text{Critic}}={\delta }^2=(-0.45{)}^2=0.2025$$

参数更新（以价值表为例）：

$$V(S)\leftarrow V(S)+{\alpha }_{\varphi }\cdot \delta =-1+0.1\times (-0.45)=-1+(-0.045)=-1.045$$

Critic 降低了 $V(S)$——因为这次体验表明 $S$ 的价值比之前估计的还要低。

第 5 步：更新 Actor

$\delta =-0.45$ 表示这次动作（右走）的表现不如预期。Actor 的更新方向是：降低这个动作的概率。以策略梯度为例：

$$\theta \leftarrow \theta +{\alpha }_{\theta }\cdot \delta \cdot {\nabla }_{\theta }\log \pi (\text{右}\mid S)$$

$\delta <0$ 使得参数沿 ${\nabla }_{\theta }\log \pi (\text{右}\mid S)$ 的反方向移动，即降低 $\pi (\text{右}\mid S)$ 的概率。

如果 $\delta >0$，则表示这个动作比预期好，Actor 会增加该动作的概率。

Critic 的参数 $\varphi$ 沿着"让 ${\delta }^2$ 更小"的方向更新——预测越来越准。Actor 的参数 $\theta$ 沿着"让正 $\delta$ 的动作概率更高"的方向更新——选择越来越好。两者形成良性循环：Critic 的评分越准，Actor 的进步就越快；Actor 尝试的新动作越多，Critic 看到的数据就越丰富，评分也越准。

参考文献