用潜在内在反馈训练用户模拟器

研究提出带内在反馈的用户模拟器，通过内部想法、反应和标量评分在每轮对话中从第一人称用户视角评估助手。实验显示其模拟真实性和批评能力优于提示式基线，并提供现有微调模拟器缺乏的逐轮评估。模拟器生成的评估与人类判断相关性更高，作为多轮 RL 训练的奖励信号可与外部 judge LLM 方案相当，同时减少一半以上 RL 计算量。