arXiv · Statistics Machine Learning· Naoki Nishikawa, Taiji Suzuki·· 4 hr agoAI score25
Transformer 架构下分层推理奖励的强化学习：极小极大最优速率
Reinforcement Learning for Hierarchical Reasoning Rewards: Minimax-Optimal Rates with Transformers
AI brief
一项研究将奖励建模为响应空间上的分层函数，证明基于 Transformer 架构的 actor-critic 算法在查询预算与正则化强度上达到极小极大最优速率（对数因子内），并对固定提示数最优。研究对比指出，离线奖励建模中从固定参考分布采样会把遗憾衰减限制为对数速率。结果量化了在线策略探索对 RL 后训练的收益。
Source: arXiv · Statistics Machine Learning · arxiv.org