2.3 策略、价值与回报

本节导读

核心内容

• 理解策略 $\pi$ 如何与环境交互并产生一条轨迹。
• 区分一条实际轨迹的回报 $G_t$ 与多次可能结果的期望价值。
• 理解状态价值 $V^{\pi }(s)$、动作价值 $Q^{\pi }(s,a)$ 和优势函数 $A^{\pi }(s,a)$ 分别回答什么问题。

上一节用 MDP 五元组描述了环境规则。环境怎样运行已经清楚，但智能体怎样行动、连续行动的长期结果怎样评价，还没有说明。

现在加入策略 $\pi$。智能体根据当前状态选择动作，环境返回奖励并进入下一状态；不断重复，就得到一条轨迹，沿着轨迹可以算出每个时刻的回报 $G_t$。但真正做决策时，智能体不能等轨迹结束再判断——同一个状态在不同尝试中可能产生不同的动作、转移和回报，因此在行动之前，还需要对这些可能的未来取平均。

具体来说，本节回答三个问题：每一步怎么选（策略 $\pi$）、一条轨迹总共得到多少（回报 $G_t$）、行动之前怎样评价状态和动作（$V^{\pi }(s)$、$Q^{\pi }(s,a)$ 和 $A^{\pi }(s,a)$）。

核心概念

策略决定智能体怎样行动，回报衡量一条实际轨迹的长期收益，价值函数则对尚未发生的未来回报取期望。同一个状态可能产生多条不同轨迹，因此 $G_t$ 描述一次具体结果，$V^{\pi }(s)$ 和 $Q^{\pi }(s,a)$ 描述多次可能结果的平均水平。

核心公式

$$a=\pi (s),a\sim \pi (\cdot \mid s)$$

确定性策略与随机策略：描述每一步怎样选择动作。

策略（Policy）：

• $\pi$：智能体的决策规则，读作“派”。
• $\pi (s)$：确定性策略，在状态 $s$ 下直接输出一个动作。
• $\pi (\cdot \mid s)$：随机策略，在状态 $s$ 下输出所有动作的概率分布。

$$G_t=\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$$

折扣累积回报：衡量从时刻 $t$ 开始的一条实际轨迹。

回报（Return）：

• $G_t$：从时刻 $t$ 开始，未来奖励经过折扣后的总和。
• $R_{t+k+1}$：向后第 $k$ 步收到的单步奖励。
• ${\gamma }^k$：这份未来奖励在当前回报中的权重。

$$V^{\pi }(s)={\mathbb{E}}_{\pi }[G_t\mid s_t=s],Q^{\pi }(s,a)={\mathbb{E}}_{\pi }[G_t\mid s_t=s,a_t=a]$$

状态价值与动作价值：估计行动之前的长期收益。

价值函数（Value Function）：

• $V^{\pi }(s)$：从状态 $s$ 出发并按照策略 $\pi$ 行动时，未来回报的平均值。
• $Q^{\pi }(s,a)$：在状态 $s$ 先执行动作 $a$，随后按照策略 $\pi$ 行动时，未来回报的平均值。
• $A^{\pi }(s,a)=Q^{\pi }(s,a)-V^{\pi }(s)$：动作 $a$ 相对当前策略平均水平好多少。

策略与决策规则

上一节把 CartPole 的所有可能状态记作 $\mathcal{S}$，全部可选动作记作 $\mathcal{A}=\{\text{向左推},\text{向右推}\}$。现在从状态集合中取出一个具体状态。环境每一步返回四个数字，依次是小车位置、小车速度、杆子角度和杆子角速度。假设某一时刻读到

$$s_1=[0.00,0.00,0.08,0.15].$$

这个四维向量就是一个具体状态：小车位于中央附近，位置和速度暂时接近 $0$；杆子向一侧倾斜了 $0.08$ 弧度，并且还在以每秒 $0.15$ 弧度的角速度继续转动。

另一次运行中，环境可能返回

$$s_2=[0.12,-0.04,-0.05,-0.10].$$

CartPole 运行过程中还会出现许多其他四维向量。把它们全部放在一起，就是 $\mathcal{S}$；花体大写表示整个集合，小写 $s$ 表示从中取出的一个具体状态，因此 $s_1\in \mathcal{S}$。状态连续变化，所以 $\mathcal{S}$ 中包含大量可能的四维向量，不只有这两个例子。

现在，智能体拿到了一个具体状态 $s$，需要从动作集合 $\mathcal{A}$ 中选出一个动作 $a$。这条“看到什么状态，就怎样选择动作”的规则就是策略（policy），记作 $\pi$，读作“派”。

策略分为两种形式。先看确定性策略。

确定性策略在每个状态下直接给出一个动作：

$$\pi :\mathcal{S}\to \mathcal{A},a=\pi (s).$$

符号 $\to$ 表示“从左边得到右边”。因此，$\pi :\mathcal{S}\to \mathcal{A}$ 的意思是：策略接收状态集合中的一个状态，输出动作集合中的一个动作。

为了看清这条映射，可以暂时只取三个具体状态。下面是一条用于讲解的简单策略，它不代表 CartPole 的最优控制方法：

输入状态 $s$	状态中的杆子运动	策略输出 $\pi (s)$
$s_1=[0.00,0.00,0.08,0.15]$	向右倾，并继续向右转动	向右推
$s_2=[0.12,-0.04,-0.05,-0.10]$	向左倾，并继续向左转动	向左推
$s_3=[-0.08,0.03,0.01,-0.02]$	接近直立	向右推

第一行可以写成

$$\pi (s_1)=\text{向右推}.$$

左边的 $s_1$ 是输入，右边的“向右推”是输出。同一个 $s_1$ 再次输入这条确定性策略时，输出仍然是“向右推”。对状态集合中的每个状态都规定一个动作，就得到完整的确定性策略。

随机策略在每个状态下给出一组动作概率：

$$\pi :\mathcal{S}\to \Delta (\mathcal{A}),a\sim \pi (\cdot \mid s).$$

$\Delta (\mathcal{A})$ 表示“动作集合 $\mathcal{A}$ 上所有可能的概率分布”。CartPole 只有左推和右推两个动作，因此一个动作概率分布可以写成

$$[p_{\text{左}},p_{\text{右}}],p_{\text{左}}+p_{\text{右}}=1.$$

例如，$[0.1,0.9]$ 表示向左推的概率为 $0.1$，向右推的概率为 $0.9$。$[0.5,0.5]$、$[0.8,0.2]$ 和 $[0,1]$ 也都是动作集合 $\mathcal{A}$ 上的概率分布。所有这样的概率分布合在一起，就是 $\Delta (\mathcal{A})$。

随机策略会为不同状态输出不同的动作概率。仍然使用前面的三个状态，可以得到下面这张表：

输入状态 $s$	向左推的概率	向右推的概率	策略输出 $\pi (\cdot \mid s)$
$s_1$	$0.1$	$0.9$	$[0.1,0.9]$
$s_2$	$0.85$	$0.15$	$[0.85,0.15]$
$s_3$	$0.45$	$0.55$	$[0.45,0.55]$

当输入为 $s_1$ 时，策略没有直接指定一个动作，而是输出 $[0.1,0.9]$。如果重复遇到 $s_1$ 很多次，实际选择会大约有 $10\%$ 是向左推，$90\%$ 是向右推。

在 $\pi (\cdot \mid s)$ 中，竖线 $\mid$ 读作“在……条件下”，所以它表示“已知当前状态是 $s$ 时，各个动作的概率”。圆点 $\cdot$ 代表所有候选动作。符号 $\sim$ 表示“按照右边的概率分布进行采样”，因此 $a\sim \pi (\cdot \mid s)$ 的意思是：按照策略给出的动作概率，随机选出实际动作 $a$。

把整条过程连起来看：$s_1$ 是 $\mathcal{S}$ 中的一个具体状态；随机策略把 $s_1$ 变成 $\Delta (\mathcal{A})$ 中的一个具体概率分布 $[0.1,0.9]$；最后再按这个分布采样，得到 $\mathcal{A}$ 中的一个具体动作，例如“向右推”。

随机策略也包含确定性策略这个特殊情况。例如，概率分布 $[0,1]$ 表示向左推的概率为 $0$、向右推的概率为 $1$，所以实际每次都会向右推。策略梯度方法通常直接学习随机策略；DQN 等价值型方法则常从动作价值中导出确定性的贪心策略。

# CartPole 的一个简单随机策略示例
import torch
import torch.nn as nn

class CartPolePolicy(nn.Module):
    def __init__(self):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(4, 32), nn.Tanh(),
            nn.Linear(32, 2)  # 2 个动作的 logits
        )

    def forward(self, state):
        logits = self.net(state)
        return torch.distributions.Categorical(logits=logits)

    def act(self, state):
        dist = self.forward(state)
        action = dist.sample()
        return action.item(), dist.log_prob(action)

把一个具体状态 torch.tensor([0.00, 0.00, 0.08, 0.15]) 交给这段网络时，第一层接收 $4$ 个状态数字，最后一层输出 $2$ 个 logits，分别对应向左推和向右推。Categorical 把这两个分数转换成动作概率，sample() 再按概率抽出动作 $0$ 或 $1$。log_prob(action) 记录这次动作的对数概率，后面的策略梯度会用它调整网络参数。

最优策略

有了策略以后，还需要比较哪一条策略更好。假设策略 A 控制 CartPole 运行 $100$ 次，平均坚持 $180$ 步；策略 B 同样运行 $100$ 次，平均坚持 $420$ 步。由于 CartPole 每坚持一步就得到 $+1$，策略 B 的平均长期回报更高。

把所有候选策略都这样比较，期望长期回报最高的那一条称为最优策略，记作 ${\pi }^{\ast }$：

$${\pi }^{\ast }=\arg \underset{\pi }{\max }{\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^{t}R(s_t,a_t)\right]$$

这里的 $\ast$ 读作“星号”，表示最优；$\arg {\max }_{\pi }$ 表示“在所有策略 $\pi$ 中，找出让右侧数值最大的那一条”；${\mathbb{E}}_{\pi }$ 表示对策略可能产生的多次结果取平均。DQN、PPO、SAC 采用不同的策略表示和更新方法，但最终都希望提高这个期望回报。

回报与轨迹衡量

先看一条只有三步的轨迹。智能体从 $s_0$ 出发选择 $a_0$，得到奖励 $r_1=1$ 并到达 $s_1$；随后选择 $a_1$，得到 $r_2=1$；最后选择 $a_2$，得到 $r_3=1$，任务结束。把这段经历按发生顺序写下来，就是一条轨迹（trajectory）：

$$\tau =(s_0,a_0,r_1,s_1,a_1,r_2,s_2,a_2,r_3,s_3).$$

$\tau$ 读作 tau，近似“套”，表示整条轨迹；状态和动作的下标 $0,1,2$ 表示作出选择的时间步，奖励 $r_1$ 则是在第 $0$ 步动作之后收到的反馈。一次完整任务通常称为一个 episode，也就是从开始状态走到终止状态的一轮交互。

一条轨迹里有多个单步奖励。为了评价从某个时刻开始的整段未来，需要把这些奖励合在一起，这个量称为回报（return）：

$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots =\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$$

$G_t$ 表示从时刻 $t$ 开始的回报。大写 $R_{t+1}$ 表示下一步收到的奖励，$k$ 表示从当前时刻向后数了多少步，$\sum$ 表示把这些项相加。

折扣因子 $\gamma$ 的作用

$\gamma \in [0,1]$ 是折扣因子，它规定远期奖励在当前回报中的权重。$\gamma$ 越小，权重衰减越快；$\gamma$ 越接近 1，远期奖励保留的权重越大。

仍看刚才的三步轨迹。如果 $\gamma =0.9$，那么从开头计算的回报是

$$G_0=1+0.9\times 1+0.9^2\times 1=\mathrm{2.71.}$$

三个奖励本来都是 $1$，但第二个奖励的权重是 $0.9$，第三个奖励的权重是 $0.9^2=0.81$。如果改用 $\gamma =0.5$，同一条轨迹的回报会变成 $1+0.5+0.25=1.75$，说明更远的奖励被看得更轻。

对于奖励有界的无限时域任务，$\gamma <1$ 还能使折扣回报保持有限。对于有明确终点的有限时域任务，可以根据目标采用 $\gamma =1$，让各时刻的奖励等权相加。$\gamma$ 是任务目标的一部分，不能仅根据算法名称决定。

CartPole 中的回报

CartPole 中，只要杆子仍然立着，每一步就得到奖励 $1$；杆子倒下或小车越界时，这一轮结束。假设一共坚持了 $T$ 步，从第 $0$ 步计算的回报为：

$$G_0=1+\gamma +{\gamma }^2+\cdots +{\gamma }^{T-1}=\frac{1-{\gamma }^T}{1-\gamma }$$

其中 $T$ 是这一轮交互包含的步数。当 $\gamma =0.99$、$T=500$ 时，$G_0\approx 99.34$。如果只坚持 $100$ 步，则 $G_0\approx 63.40$。在奖励规则相同的情况下，坚持时间更长，回报也更高。

价值函数与长期收益

同一个状态可能产生不同结果。假设 CartPole 在状态 $s$ 下重复运行三次，按照同一策略继续行动，最后得到的回报分别是 $80$、$100$ 和 $120$。单次运行的回报会变化，但三次的平均值是

$$\frac{80+100+120}{3}=100.$$

如果重复次数足够多，这个平均值会逐渐接近该状态在当前策略下的期望回报。价值函数衡量的就是这种“还没有真正走完时，对未来平均回报的估计”。

状态价值 $V(s)$

$$V^{\pi }(s)={\mathbb{E}}_{\pi }\left[G_t\mid s_t=s\right]={\mathbb{E}}_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\mid s_t=s\right]$$

$V$ 是 value 的首字母，表示价值；右上角的 $\pi$ 提醒我们，这个价值取决于后续采用哪条策略。竖线 $\mid$ 表示“在……条件下”。因此，$V^{\pi }(s)$ 的意思是：已知当前状态 $s_t=s$，之后按照策略 $\pi$ 行动时，回报 $G_t$ 的平均值。

动作价值 $Q(s,a)$

$$Q^{\pi }(s,a)={\mathbb{E}}_{\pi }\left[G_t\mid s_t=s,a_t=a\right]$$

$Q^{\pi }(s,a)$ 比 $V^{\pi }(s)$ 多固定了第一步动作。假设在同一个状态 $s$ 下，先向左推的多次平均回报是 $70$，先向右推的多次平均回报是 $110$，那么

$$Q^{\pi }(s,\text{向左推})=70,Q^{\pi }(s,\text{向右推})=110.$$

这两个数都假设第一步之后继续按照策略 $\pi$ 行动。它们把“状态整体上好不好”细分成“在这个状态先做某个动作好不好”。

V 与 Q 的关系

$$V^{\pi }(s)=\sum _a\pi (a\mid s)Q^{\pi }(s,a)$$

这条公式表示：$V^{\pi }(s)$ 是各动作价值按照动作概率算出的加权平均。继续使用上面的数字，如果策略在 $s$ 下有 $25\%$ 的概率向左推、$75\%$ 的概率向右推，那么

$$V^{\pi }(s)=0.25\times 70+0.75\times 110=100.$$

符号 ${\sum }_a$ 表示遍历动作集合中的每个动作并相加，$\pi (a\mid s)$ 是动作 $a$ 的概率，$Q^{\pi }(s,a)$ 是先做该动作的长期价值。

补充：这条公式怎样从定义得到

两个定义的差别在于：求平均时，第一步动作有没有被固定下来。状态价值只以当前状态为条件：

$$V^{\pi }(s)={\mathbb{E}}_{\pi }[G_t\mid s_t=s]$$

动作价值还固定了第一步动作：

$$Q^{\pi }(s,a)={\mathbb{E}}_{\pi }[G_t\mid s_t=s,a_t=a]$$

在策略 $\pi$ 下，第一步动作 $a_t$ 仍是随机的，它从 $\pi (\cdot \mid s)$ 中采样。因此，$G_t$ 的期望可以按“第一步选了哪个动作”分组再平均。这就是第 2.1 节用过的全期望公式：总体平均等于各组概率乘以组内平均。

$$\begin{array}{rl}{V}^{\pi }(s)& ={\mathbb{E}}_{\pi }[G_t\mid s_t=s]\\ & =\sum _a\pi (a\mid s){\mathbb{E}}_{\pi }[G_t\mid s_t=s,a_t=a]\\ & =\sum _a\pi (a\mid s)Q^{\pi }(s,a).\end{array}$$

第一行是 $V^{\pi }(s)$ 的定义。第二行把同一个期望按可能的第一步动作展开。第三行把内层条件期望换成 $Q^{\pi }(s,a)$。

两个 CartPole 动作时，就是上文的算术：

$$V^{\pi }(s)=0.25\times 70+0.75\times 110=100.$$

其中 $0.25$ 和 $0.75$ 是 $\pi (\text{向左推}\mid s)$ 与 $\pi (\text{向右推}\mid s)$，$70$ 和 $110$ 是两个动作价值。若策略是确定性的，某个动作的概率为 $1$，其余为 $0$，则 $V^{\pi }(s)$ 就等于那个动作的 $Q$。

GridWorld 数值示例

考虑一条只有三个非终止状态的走廊。策略始终向右走，进入终点时获得 $+1$，其他转移奖励为 $0$，并取 $\gamma =0.9$：

S0 ──→ S1 ──→ S2 ──→ 终点
0.81   0.90   1.00     0

从 $S_2$ 出发，下一步就得到 $+1$，所以 $V^{\pi }(S_2)=1$。从 $S_1$ 出发，奖励晚一步到达，因此 $V^{\pi }(S_1)=0.9$；同理，$V^{\pi }(S_0)=0.9^2=0.81$。这里距离终点越近，价值越高，是因为同一份终点奖励经历的折扣次数更少。

优势函数与动作评价

优势函数（advantage function）衡量动作 $a$ 相对于当前策略在状态 $s$ 下平均选择的动作好多少：

$$A^{\pi }(s,a)=Q^{\pi }(s,a)-V^{\pi }(s)$$

• $A>0$：动作 $a$ 比平均好
• $A<0$：动作 $a$ 比平均差
• $A=0$：动作 $a$ 是平均水平

继续使用 $V^{\pi }(s)=100$ 的例子。向右推的动作价值是 $110$，所以

$$A^{\pi }(s,\text{向右推})=110-100=10.$$

这个正数表示向右推比当前策略的平均选择高 $10$ 分。向左推的优势是 $70-100=-30$，负数表示它比平均选择低 $30$ 分。优势比较的是相对好坏，因此同一状态下会同时出现正优势和负优势。

优势函数在策略梯度（第 6 章）和 Actor-Critic（第 7 章）中是核心概念。

贝尔曼方程的预告

价值函数的定义已经清楚，但计算仍然困难。$V^{\pi }(s)$ 是从状态 $s$ 出发的期望回报；如果同一个状态可能产生大量不同轨迹，直接计算就要运行许多次，再对所有回报求平均。

价值函数满足一个可以利用的递归关系——贝尔曼方程，把 $V(s)$ 写成 $V(s^{\prime })$ 的函数：

$$V^{\pi }(s)=\sum _a\pi (a\mid s)\sum _{s^{\prime }}P(s^{\prime }\mid s,a)\left[R(s,a,s^{\prime })+\gamma V^{\pi }(s^{\prime })\right]$$

先只看方括号中的一项。假设在状态 $s$ 做动作 $a$ 后立即得到奖励 $2$，到达下一状态 $s^{\prime }$；已知 $V^{\pi }(s^{\prime })=10$，并取 $\gamma =0.9$，那么这一步加上后续价值就是

$$R(s,a,s^{\prime })+\gamma V^{\pi }(s^{\prime })=2+0.9\times 10=11.$$

完整公式还要考虑策略可能选择的所有动作，以及环境可能到达的所有下一状态。外层的 ${\sum }_a\pi (a\mid s)$ 按策略的动作概率求平均，内层的 ${\sum }_{s^{\prime }}P(s^{\prime }\mid s,a)$ 按环境的转移概率求平均。

第 3.1 节 状态价值与贝尔曼期望方程 将正式推导这个方程，并给出利用它计算价值的方法。

本节总结

第 2.1 节从老虎机出发，说明智能体为什么需要在探索与利用之间取舍。第 2.2 节加入会随动作变化的状态，用 MDP 描述环境规则。本节再加入策略与回报，说明智能体怎样产生一条轨迹，以及怎样衡量这条轨迹的长期收益。

到这里，第 2 章已经建立了描述强化学习问题所需的基本对象：

1. 策略 $\pi$：agent 的决策规则，随机策略 $a\sim \pi (\cdot \mid s)$ 是最一般形式
2. 回报 $G_t$：从 $t$ 起的折扣累积奖励 $\sum {\gamma }^{k}r$
3. 价值函数：$V^{\pi }(s)$ 状态价值，$Q^{\pi }(s,a)$ 动作价值；优势 $A=Q-V$ 衡量相对好坏

第 2 章到这里结束，下一章进入第 3 章：价值函数与贝尔曼方程。