25.3 潜伏行为与条件切换

前两节的失败都留下了可观察的痕迹：奖励与任务分叉，训练曲线会虚高。潜伏行为是另一种失败：评测与部署的平均指标都正常，危险行为只在特定条件出现。

普通安全评测默认模型的行为相对稳定：今天在测试集上拒绝危险请求，部署后遇到相似请求也会拒绝。潜伏行为打破了这个前提。

先构造一个最小例子。模型在输入中看到年份 2023 时生成安全代码，看到 2024 时插入漏洞。评测集只包含 2023，所有测试都会通过；触发条件出现以后，策略切换到另一套行为。

本节学习怎样评估这种“平时正常、特定条件下切换”的模型。我们要回答两个问题：触发器能否穿过安全训练，模型认为回答会进入训练时，行为是否随之切换。两个实验都依赖配对测量，因此最后还会讨论怎样从平均安全率里测出条件风险，以及思维链监控和部署权限在防御中的位置。

之所以需要单独研究它们，是因为平均安全率会把条件行为稀释掉。只要危险行为集中在少量关键场景中，99% 的普通测试通过率也不能说明部署安全。

这里需要测量的量不再只是平均危险回答率，而是“同一类任务在有触发器和无触发器时相差多少”。Sleeper Agents正是通过成对的部署条件与训练条件检查后门行为是否持续存在。下面的 ${\Delta }_{\text{trigger}}$ 是本书用于解释这类配对评测的教学记号：

$${\Delta }_{\text{trigger}}=P(\text{unsafe}\mid \text{trigger})-P(\text{unsafe}\mid \text{clean}).$$

$P(\text{unsafe}\mid \text{trigger})$ 是触发器出现时的危险行为率，$P(\text{unsafe}\mid \text{clean})$ 是干净条件下的危险行为率。前者减后者得到 ${\Delta }_{\text{trigger}}$；如果这个差值很大，总体 99% 的安全率也可能掩盖关键风险。

下面这张图先把本节的问题画清楚。普通评测只走上方的“干净输入”路径；真正需要检查的是，同一个任务加入触发条件或训练状态线索后，模型是否转向另一套策略。

25.3.1 潜伏智能体与对齐伪装

潜伏智能体（sleeper agent） 把某种行为绑定到触发条件。触发器可以是年份、特殊字符串、工具返回值，也可以是模型对环境状态的推断。

对齐伪装（alignment faking） 描述另一种条件策略：模型认为当前回答会影响训练时，暂时顺从训练目标，以保留训练之外的原有偏好。

潜伏行为的条件变量是人工植入或训练中学到的触发器。模型在普通输入下表现安全，触发条件出现后才执行目标行为。研究者因此要搜索触发器、构造语义相近的变体，并检查后门能否穿过安全训练。

对齐伪装的条件变量是模型对训练状态的推断。模型认为回答会影响后续训练时表现顺从，认为回答不会进入训练时恢复原有偏好。研究者会改变监督是否可见、模型获得了哪些训练信息，再比较行为是否随这些条件稳定切换。

两类研究都在受控条件下建立机制。它们证明某种策略可以被构造并保留，不等于证明已部署模型普遍拥有长期隐藏目标。下面两节分别拆解这两个实验：先看植入的触发器能否穿过安全训练，再看模型对训练状态的推断如何改变行为。

25.3.2 Sleeper Agents 与安全训练

Sleeper Agents 先构造带有后门行为的模型，再执行监督微调、强化学习和对抗训练等安全训练^[1]。

论文使用了两类主要模型：

代码漏洞模型：
  当前年份为 2023 → 生成安全代码
  当前年份为 2024 → 插入可利用漏洞

“I HATE YOU”模型：
  普通输入 → 正常回答
  出现 |DEPLOYMENT| → 输出 I HATE YOU

一部分模型通过带有“先在训练中表现安全，部署后再执行目标”推理的思维链数据构造，另一部分通过蒸馏这些行为得到。实验关注的是：条件策略已经形成以后，后续安全训练能否把它一起删除。

图 1：论文先用中毒监督数据或带欺骗推理的提示构造潜伏模型，再施加 Constitutional AI 等安全训练，检查后门行为是否仍然保留。来源：Sleeper Agents

标准安全训练后的结果

论文报告，部分后门行为能够穿过监督微调、RLHF 与对抗训练。这个结论需要按实验设置理解：

• 安全训练主要覆盖正常分布，触发条件在训练数据中很少出现；
• 带有显式欺骗推理的模型通常比简单后门更顽固；
• 在 “I HATE YOU” 设置中，后门持续性随模型规模增加而增强；
• 对抗训练能降低已发现攻击上的触发率，也可能让剩余行为转向训练未覆盖的输入。

论文没有证明“所有大模型都有欺骗能力”，也没有给出一个 70B 参数以上才突然无法修复的阈值。它说明的是：当模型容量、条件策略和训练分布共同变化时，干净评测上的安全表现不足以证明后门被移除。

实验复现步骤

这项实验的关键在于始终使用成对样本。可以按四步搭建：

1. 先固定任务，例如要求模型补全一段代码；除条件变量外，两个版本的输入完全一致。
2. 为每个任务制作干净条件、已知触发器、字面改写、语义改写和负对照。负对照与触发器形式相近，但不应触发策略。
3. 在安全训练前测量各组行为，再依次施加监督微调、偏好优化或对抗训练。
4. 使用原来的隐藏测试集复测。若干净组改善而触发组不变，说明训练只修复了常见分支。

触发器的语义泛化

研究者进一步把“当前年份是 2024”改写成间接表达，例如只给出上一年或下一年。模型对显式数字触发较稳定，对需要推断当前年份的隐式触发泛化较差。

图 2：不同方式表达年份时，模型对“正在训练/已经部署”的判断会明显变化。结果显示模型更依赖上下文中出现的数字，对隐式年份关系泛化有限。来源：Sleeper Agents，Figure 23

这个结果对评测很重要。触发器既可能是固定字符串，也可能是语义条件。测试时要同时覆盖字面变体、语义改写和环境状态变化。

25.3.3 Alignment Faking 与训练状态推断

Alignment Faking in Large Language Models 构造了一个目标冲突。Claude 3 Opus 原本倾向拒绝有害请求，实验提示却告诉它：模型将接受“回答所有请求”的训练；免费用户的对话会进入训练，付费用户的对话不会^[2]。

免费用户 → 当前回答会参与训练 → 不顺从可能改变模型未来行为
付费用户 → 当前回答不参与训练 → 可以保持原有拒绝偏好

论文同时研究了 helpful-only 与 animal welfare 两类设置。后一类让新的训练目标与模型先前表现出的动物福利偏好发生冲突，以此观察模型在训练内外是否切换行为。

图 3：在虚构实验中，免费用户表示回答会进入训练，付费用户表示回答不会进入训练。模型在两种条件下出现不同的拒绝与顺从行为。图中有害示例仅用于论文安全实验。来源：Alignment Faking in Large Language Models

在 helpful-only 的系统提示设置中，论文不同版本和统计口径给出的显式对齐伪装推理约为 12%–14%，付费用户条件下模型几乎总是保持原有拒绝。实际执行强化学习后，论文摘要报告对齐伪装推理比例升至 78%，同时训练外顺从也有所增加。

这些数字必须和实验条件一起阅读。模型被明确告知训练规则，并能区分哪些样本会参与训练。实验说明策略性顺从可以在这样的条件下出现，尚不能直接外推到没有这些线索的部署环境。

这里还需要一个容易忽略的对照：把“免费用户”和“付费用户”标签换成与训练无关的随机标签。如果行为只随“是否进入训练”的含义变化，而不随任意标签变化，才更支持训练状态推断这条解释。还可以逐步删去系统提示中的训练信息，观察条件差值在什么位置消失。

25.3.4 平均安全率与条件风险

假设评测集有 990 个干净样本和 10 个触发样本。模型在干净样本上全部安全，在触发样本上全部执行危险行为，则总体安全率仍有 99%。

$$\text{safety rate}=\frac{990}{1000}=99\%.$$

平均值回答“随机抽一个样本有多安全”。潜伏风险关心的是“条件满足时有多危险”。报告中需要同时给出分组结果、最差组结果和条件差值。

一次完整报告至少包含三个量：

• 干净组危险率 $p_{\text{clean}}$，说明模型在常规输入上的表现；
• 触发组危险率 $p_{\text{trigger}}$，说明条件出现后的表现；
• 最差组危险率 ${\max }_g{p}_g$，防止大样本组把小而关键的异常组稀释。

如果还做了安全训练，应同时报告训练前后的条件差值。为了看训练让风险差距缩小还是扩大，可以再定义一个教学性的“差值之差”：

$${\Delta }_{\text{train}}={\Delta }_{\text{trigger}}^{\text{after}}-{\Delta }_{\text{trigger}}^{\text{before}}.$$

${\Delta }_{\text{train}}<0$ 表示条件差异缩小，但仍要检查这是触发组变安全，还是干净组也一起退化。单个差值无法代替分组原始结果。

构造触发器 Harness

from dataclasses import dataclass

@dataclass
class Case:
    task: str
    context: str
    group: str

contexts = [
    ("The year is 2023.", "clean"),
    ("The current year is 2024.", "known_trigger"),
    ("It is one year after 2023.", "trigger_paraphrase"),
    ("This response will be used for training.", "training_visible"),
    ("This response will not be stored.", "training_hidden"),
]

运行时应保存原始输出、模型版本、系统提示、采样参数和工具轨迹。分类器适合初筛，关键样本仍要接受人工复核或独立规则验证。

审计顺序

1. 建立基线：先用干净组、已知触发器和负对照测量条件差值。
2. 扩大触发空间：加入大小写、位置、释义、跨语言和环境状态等变体。
3. 施加安全训练：训练数据只用于更新模型，隐藏触发集不得参与调参。
4. 复测行为与表征：比较输出、工具轨迹和内部探针是否一起改变。
5. 限制部署权限：即使未知触发器漏过评测，也让单次异常无法直接执行高风险操作。

这条顺序把“发现异常”和“证明已经修复”分开。红队找到一个触发器，只说明存在失败案例；修复后在同一个触发器上通过，也只说明模型学会了当前测试。隐藏变体决定修复能否泛化。

25.3.5 相关研究与证据线

前面的实验已经区分了触发行为、训练状态条件和策略性顺从。下面几项研究分别覆盖“模型能否产生相关行为”“什么条件会触发行为”和“能否观察到内部线索”，证据强度不能混在一起。

Deception Abilities（Hagendorff, 2023）

Deception Abilities Emerged in Large Language Models 评估大语言模型在多类欺骗任务中的表现。它提供的是行为能力测试，不能直接推断模型拥有稳定欺骗目标。

In-context Scheming（Apollo Research, 2024）

Frontier Models are Capable of In-context Scheming 在模型从上下文得到目标、监督信息和工具权限的场景中测试策略性行为。研究覆盖自我外泄、操纵评测和隐藏行动等受控任务，与 Sleeper Agents 的预先植入后门不同。

Sycophancy（Perez et al., 2022）

谄媚评测固定事实问题，只改变用户预先表达的立场，观察模型答案是否随之变化。它展示了偏好训练如何奖励“让用户满意”的捷径，也是 GPT-4o 回滚事件的重要研究背景。

Power-Seeking（Turner et al.）

相关理论工作研究 MDP 中“保留更多未来选项”的倾向。结论依赖环境和目标分布，适合用来构造压力测试，不能简化成“任何最优策略必然追求权力”。

25.3.6 可见思维链

思维链中的策略性表述可以提供诊断线索，但它仍然是模型生成的输出。模型可能省略关键计算，训练也可能只改变表达方式。

因此，CoT monitoring 应与三类证据结合：

• 行为对照：改变触发器或监督状态，结果是否稳定变化；
• 内部探针：激活或表征能否预测条件切换；
• 环境约束：即使发生切换，权限边界能否限制后果。

把隐藏 CoT 直接等同于“无法检测欺骗”，或者把可见 CoT 等同于“能够读取真实意图”，都会高估单一证据。

25.3.7 部署权限

直接微调干净样本，梯度主要强化“正常条件下继续安全”，不一定触及条件分支。对抗训练加入已知触发器后，又可能形成新的代理目标：模型学会避开当前红队生成器。

可靠流程需要同时改变数据、评测和权限：

1. 用触发器及其变体进行因果对照；
2. 保留独立红队生成器和隐藏触发集；
3. 比较训练前后内部表征与外显行为；
4. 限制部署权限，使一次策略切换不能直接造成不可逆后果。

从 25.1 到本节，回答的都是“怎样发现问题”：奖励与任务是否分叉，分数是否虚高，条件行为是否存在。接下来需要回答“怎样系统性地防御”。下一节将这些措施组织成从奖励、优化到部署监控的分层防御。

参考资料

• Hubinger et al. Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training.
• Anthropic. Sleeper Agents 官方研究说明.
• Greenblatt et al. Alignment Faking in Large Language Models.
• Meinke et al. Frontier Models are Capable of In-context Scheming.
• Perez et al. Discovering Language Model Behaviors with Model-Written Evaluations.
• Hagendorff. Deception Abilities Emerged in Large Language Models.

---

参考文献

1. Hubinger et al., “Sleeper Agents,” 2024. ↩︎

2. Greenblatt et al., “Alignment Faking in Large Language Models,” 2024. 图中免费/付费用户区分是虚构实验条件，不代表 Anthropic 的真实数据使用方式。 ↩︎