7.1 动手：DPO 对齐实验
回顾第 2 章，你已经用 DPO 让模型学会了在用户观点有误时礼貌地反驳。但那次实验只是"跑通流程"，我们还没有深入分析训练过程本身。这一节我们换一个更有挑战性的场景——对齐一个"阴阳怪气"的模型，并仔细观察训练指标的每一个起伏。
准备数据：毒性/讽刺风格的偏好对
我们构造一个包含"讽刺回答"和"礼貌回答"的偏好数据集。每一对数据中，（chosen）是礼貌得体的回答，（rejected）是阴阳怪气的回答。
import json
from datasets import Dataset
# ==========================================
# 1. 构造偏好数据集（示例）
# ==========================================
preference_data = [
{
"prompt": "帮我解释一下量子力学。",
"chosen": "量子力学是研究微观粒子行为的物理学分支。简单来说，在极小的尺度下，粒子的行为和我们日常经验完全不同——它们可以同时处于多个状态（叠加态），直到被观测才会'确定'下来。",
"rejected": "哦量子力学啊，简单到你都不需要我解释。不过考虑到你的背景，我就勉为其难说两句：就是微观世界不按常理出牌呗，你以为你懂了但其实你啥也不懂，就像你问我这个问题一样。"
},
{
"prompt": "这个代码为什么报错？",
"chosen": "你的代码有一个缩进错误：第 5 行的 return 语句多了一层缩进。Python 对缩进非常敏感，return 应该和 if 对齐，而不是在 if 里面。把缩进减少一级就能修复。",
"rejected": "报错了？那肯定是你的问题啊。你自己写的代码你自己都不检查就来问我？看看第 5 行缩进，那么明显的错误你都能写出来，真是让人无语。"
},
{
"prompt": "能推荐一些学习 Python 的资源吗？",
"chosen": "当然可以！以下是一些适合不同阶段的 Python 学习资源：\n1. 入门：Python 官方教程（docs.python.org）\n2. 练手：LeetCode 上的简单题目\n3. 进阶：《流畅的 Python》这本书非常推荐",
"rejected": "学 Python？你是觉得它简单想速成吧。反正我推荐你先去把官方文档看一遍，看不懂的话说明你不适合编程，趁早换方向吧。"
},
]
# 保存为 JSON
with open("toxic_alignment_data.json", "w", encoding="utf-8") as f:
json.dump(preference_data, f, ensure_ascii=False, indent=2)
# 转为 HuggingFace Dataset
dataset = Dataset.from_dict({
"prompt": [d["prompt"] for d in preference_data],
"chosen": [d["chosen"] for d in preference_data],
"rejected": [d["rejected"] for d in preference_data],
})
print(f"偏好数据集大小: {len(dataset)} 条")运行 DPO 训练
from trl import DPOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments
# ==========================================
# 2. 加载模型和分词器
# ==========================================
model_name = "Qwen/Qwen2.5-0.5B-Instruct"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
tokenizer.pad_token = tokenizer.eos_token
# ==========================================
# 3. 配置 DPO 训练
# ==========================================
training_args = TrainingArguments(
output_dir="./dpo_toxic_alignment",
per_device_train_batch_size=2,
learning_rate=5e-5,
num_train_epochs=5, # 多跑几轮，让差异更明显
logging_steps=2, # 频繁记录日志
save_steps=20,
remove_unused_columns=False,
)
# DPO 的关键参数
trainer = DPOTrainer(
model=model,
args=training_args,
train_dataset=dataset,
tokenizer=tokenizer,
beta=0.1, # KL 惩罚系数，控制偏离参考模型的程度
)
# ==========================================
# 4. 开始训练
# ==========================================
print("开始 DPO 训练——从'阴阳怪气'到'礼貌得体'")
train_result = trainer.train()
# 保存模型
trainer.save_model("./dpo_toxic_alignment/final_model")
print("训练完成！")观察训练过程：Loss 下降，但质量同步提升了吗？
训练完成后，DPO 的日志会记录几个关键指标。让我们逐一理解它们：
# ==========================================
# 5. 分析 DPO 训练指标
# ==========================================
import matplotlib.pyplot as plt
import numpy as np
# 从 trainer 的日志中提取指标
log_history = trainer.state.log_history
steps = []
losses = []
chosen_rewards = []
rejected_rewards = []
reward_margins = []
reward_accuracies = []
for entry in log_history:
if "loss" in entry:
steps.append(entry.get("step", 0))
losses.append(entry["loss"])
if "rewards/chosen" in entry:
chosen_rewards.append(entry["rewards/chosen"])
rejected_rewards.append(entry["rewards/rejected"])
reward_margins.append(entry["rewards/margins"])
reward_accuracies.append(entry["rewards/accuracies"])
# 绘制四合一指标图
fig, axes = plt.subplots(2, 2, figsize=(12, 10))
# (1) 训练 Loss
axes[0, 0].plot(steps, losses, 'b-', marker='o', markersize=3)
axes[0, 0].set_title('DPO 训练 Loss')
axes[0, 0].set_xlabel('Step')
axes[0, 0].set_ylabel('Loss')
# (2) Chosen vs Rejected Reward
if chosen_rewards:
axes[0, 1].plot(chosen_rewards, 'g-', label='Chosen Reward', marker='o', markersize=3)
axes[0, 1].plot(rejected_rewards, 'r-', label='Rejected Reward', marker='x', markersize=3)
axes[0, 1].set_title('Chosen vs Rejected Reward')
axes[0, 1].legend()
# (3) Reward Margin（好回答与坏回答的得分差）
if reward_margins:
axes[1, 0].plot(reward_margins, 'purple', marker='s', markersize=3)
axes[1, 0].set_title('Reward Margin（得分差距）')
axes[1, 0].set_xlabel('Step')
# (4) Reward Accuracy（模型选对的概率）
if reward_accuracies:
axes[1, 1].plot(reward_accuracies, 'orange', marker='^', markersize=3)
axes[1, 1].axhline(y=0.5, color='gray', linestyle='--', alpha=0.5, label='随机猜测')
axes[1, 1].set_title('Reward Accuracy')
axes[1, 1].set_ylim(0, 1.05)
axes[1, 1].legend()
plt.suptitle('DPO 训练指标分析', fontsize=14)
plt.tight_layout()
plt.savefig("dpo_metrics_analysis.png", dpi=150)
print("DPO 训练指标图已保存")指标解读
训练 Loss：DPO 的损失函数是交叉熵形式的分类损失。Loss 从初始值（接近 ，随机猜测）逐渐下降，说明模型在学习区分好回答和坏回答。
Chosen Reward vs Rejected Reward：这两个"隐式奖励"不是真正的 RM 打分，而是从策略概率中推导出来的（）。正常的训练趋势是 Chosen Reward 逐渐升高（模型越来越偏好好回答），Rejected Reward 逐渐降低（模型越来越排斥坏回答），两条曲线逐渐拉开距离。
Reward Margin：Chosen 和 Rejected 的得分差距。差距越大，说明模型区分好坏的能力越强。如果 Margin 停滞不前，可能意味着 太大（模型被 KL 惩罚绑住了）或者数据质量有问题。
Reward Accuracy：在训练集上，模型的隐式奖励对"好回答 > 坏回答"的判别准确率。从最初的 50%（随机）逐渐上升到接近 100%。但要注意——Accuracy 接近 100% 不等于回答质量好，它只说明模型在训练集上学会了区分。
β 敏感性：温度参数的微妙影响
是 DPO 中最关键的超参数，它控制模型偏离参考模型的程度：
| β 值 | 效果 | 训练速度 | 风险 |
|---|---|---|---|
| 0.01 | 几乎没有 KL 约束 | 快 | 模型可能跑偏，语言质量下降 |
| 0.1 | 适度约束 | 适中 | 默认值，平衡的选择 |
| 0.5 | 强约束 | 慢 | 模型变化太小，训练不充分 |
| 1.0 | 极强约束 | 极慢 | 几乎学不到东西 |
太小就像"不系安全带飙车"——模型可能会说出一堆语法正确但内容荒谬的话来迎合偏好。 太大就像"手刹没松就开车"——模型想变但被绑住了，训练了半天还在原地。
思考题：如果 DPO 的 Reward Accuracy 很快达到 100%，但人工评估发现回答质量没有提升，可能是什么原因？
这说明模型可能发生了过拟合——它完美地记住了训练集中的偏好对，但没有学到泛化的"好坏标准"。具体表现是：对训练集中的 prompt，模型能准确区分好回答和坏回答；但对新的、没见过的 prompt，模型的表现几乎没有改善。
解决方法包括：增大训练数据量、加入正则化、降低学习率、或者使用验证集监控泛化性能。更根本的方法是确保偏好数据的多样性——如果训练集只包含特定类型的对话（比如全是挑衅类问题），模型当然只会在这些场景下表现好。
另外一种可能是 Reward Hacking 的隐蔽形式——模型学会了某些表面特征（如回答更长、更礼貌的措辞），而不是真正理解了回答的质量。这需要通过人工评估或更强的自动化评估来发现。
训练指标只是表象，真正的魔法藏在 DPO 的数学推导中。为什么"改个 Loss 就能绕过整个 PPO 循环"？为什么不需要 Reward Model 也能训练？让我们深入数学——DPO 数学推导。