arXiv · Machine Learning Theory· Jos\'e Lucas De Melo Costa, Seong Woo Ahn, Fabrice Popineau, Arpad Rimmel, Bich-Li\^en Doan·· 16 小时前AI 评分38
驱动与衰减:联合嵌入预测架构(JEPA)的训练动力学
Drive vs. Decay: On the Training Dynamics of Joint-Embedding Predictive Architectures
AI 导读
论文提出 JEPA 早期训练稳定性理论,将表征坍缩的启发式缓解方法统一为驱动力 γ 与衰减效应 σ 的竞争,并用每模态稳定性比 μ_i=γ_i/σ_i 预测相边界,在 800 余种 Tabular-JEPA 配置上得到验证。
来源:arXiv · Machine Learning Theory · arxiv.org