arXiv · Computation and Language· Jonghyun Han, Younghoon Song, Jongyoul Park·· 4 hr agoAI score48
数据从未提及的 token 输出嵌入中的灾难性遗忘研究
A Deafening Silence: Catastrophic Forgetting Lives in the Output Embeddings of Tokens the Data Never Speaks
AI brief
一项针对 LLM 持续预训练与微调中灾难性遗忘的研究发现，遗忘集中在新语料中罕见 token 的输出嵌入，而模型主体对应 sqrt(v-hat) 区间保持惰性。
Source: arXiv · Computation and Language · arxiv.org