arXiv · Computation and Language· Jonghyun Han, Younghoon Song, Jongyoul Park·· 3 小时前AI 评分48
数据从未提及的 token 输出嵌入中的灾难性遗忘研究
A Deafening Silence: Catastrophic Forgetting Lives in the Output Embeddings of Tokens the Data Never Speaks
AI 导读
一项针对 LLM 持续预训练与微调中灾难性遗忘的研究发现，遗忘集中在新语料中罕见 token 的输出嵌入，而模型主体对应 sqrt(v-hat) 区间保持惰性。
来源：arXiv · Computation and Language · arxiv.org