异步 Q-learning 的命中时间界

论文研究有限 MDP 单轨迹下标准异步 Q-learning 的末次迭代，证明零初始化、常数步长在高概率下达到 sup-norm 误差 ε 所需转移数为 Õ(H⁴/(μ_min ε²)+𝔥⋆)，统计项保留四次有效视界依赖，初始化成本以 𝔥⋆ 加性计入。