arXiv · Computer Vision· Tingting Liao, Xuezhi Liang, Hao Li, Guangyi Liu·· 3 小时前AI 评分58
Memorizon:训练超越上下文窗口的世界模型
Memorizon: Training World Models Beyond Their Context Window
AI 导读
Memorizon 提出一种训练世界模型的方法,让长跨度 revisit 监督无需对全序列做稠密注意力。每个样本覆盖任意长度,但只对最后 k 个 chunk 计分;每个 chunk 通过相机共视检索 top-K latent,形成有界共享库(上限 kK),序列长度不再随跨度增长。
来源:arXiv · Computer Vision · arxiv.org