arXiv · Machine Learning Theory· Zhicheng Cai, Weinan Dai, Yuyan Zhou, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou·· 4 hr agoAI score39
TAPO：面向长程 LLM RL 的轨迹感知策略优化
Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL
AI brief
研究者提出 Trajectory-Aware Policy Optimization（TAPO），通过从 off-policy policy gradient 推导状态分布校正并融入 RL 目标，弥补长程自回归 rollout 中的状态分布偏移。
Source: arXiv · Machine Learning Theory · arxiv.org