arXiv · Machine Learning Theory· Yuheng Song·· 4 hr agoAI score29
长记忆的成本：序列模型中的状态、上下文与稳定性复杂度
The Cost of Long Memory: State, Context, and Stability Complexity in Sequence Models
AI brief
论文在预测风险框架下研究序列模型的长程时间依赖问题，给出代数衰减预测记忆的匹配上下界：最优 r 模态预测误差按 e^{-Θ(√r)} 衰减，达到误差 τ 需要 r=Θ(log²(1/τ)) 个状态或模态。
Source: arXiv · Machine Learning Theory · arxiv.org