研究：灾难性遗忘集中于新语料未出现的词元输出嵌入

2026年10月8日，arXiv Computation and Language 发布一项一手研究，聚焦大语言模型在持续预训练与微调中的灾难性遗忘问题。研究发现，遗忘并非均匀分布，而是集中在新语料中罕见或未被提及的 token 的输出嵌入上；与此同时，模型主体在对应 sqrt(v-hat) 区间保持惰性，变化有限。该结果提示遗忘主要发生在输出嵌入层而非整体参数，为理解持续训练中的知识损失提供了新观察。目前报道仅涉及这一项研究结论，未见后续验证或对比数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。