Skip to content
Hot eventLive

TAPO：轨迹感知策略优化缩小长程LLM RL状态分布差距

1 reports1 sources3 hr ago updated

Get the story

AI overview

研究者提出 Trajectory-Aware Policy Optimization（TAPO），面向长程大语言模型强化学习中的状态分布偏移问题。该方法从 off-policy policy gradient 推导状态分布校正，并将其融入 RL 目标，以弥补长程自回归 rollout 中产生的状态分布差距。目前公开信息仅见 2026-10-12 发表于 arXiv（Machine Learning Theory）的一手报道，未见后续实验数据或第三方验证。

Generated from reports · updated 3 hr ago

LatestOct 12
2026-10-12 arXiv 报道 TAPO，提出以轨迹感知的状态分布校正融入 RL 目标。

Timeline

Follow the coverage from different angles.

Oct 12, 2026
  1. arXiv · Machine Learning Theory
    TAPO：面向长程 LLM RL 的轨迹感知策略优化

    研究者提出 Trajectory-Aware Policy Optimization（TAPO），通过从 off-policy policy gradient 推导状态分布校正并融入 RL 目标，弥补长程自回归 rollout 中的状态分布偏移。

Heat trend

There is not enough continuous observation data to draw a trend yet.