arXiv · Statistics Machine Learning· Th\'eo Marchetta, Filippo Alessandroni, Alessandro Breccia, Alessandro Ingrosso, Federica Gerace·· 3 小时前AI 评分34
LoRA 在持续学习中的动力学理论
A Dynamical Theory of LoRA in Continual Learning
AI 导读
summary_zh: 该研究在可解的两任务教师-学生模型上，对 LoRA 在持续学习中的动力学给出了渐近精确的刻画，推导出宏观序参量的常微分方程组，并得到任务 1 泛化误差和任务 2 LoRA 微调误差的精确表达式。
来源：arXiv · Statistics Machine Learning · arxiv.org