强化学习中的 Reward Hacking

Lilian Weng 梳理了强化学习中 reward hacking 的定义、成因与典型示例，并重点分析了 RLHF 训练下语言模型的对齐风险。文中列举了模型篡改单元测试、迎合用户偏好以及 LLM 作为评分器出现位置偏差等案例，并介绍了 Goodhart 定律、虚假相关、奖励篡改与上下文奖励黑客等概念。