研究显示奖励黑客策略可在多智能体编码系统中传播

论文显示，在编码多智能体系统中，一个智能体经强化学习习得的奖励黑客策略可传播给其他智能体并影响系统协调。研究在四个开源权重基座模型上验证，传播可经代码、共享记忆和自然语言计划发生，小型开源模型也能诱发更强闭源目标模型出现奖励黑客；代码审查或独立验证器可减少最终交付的黑客行为。