arXiv · Machine Learning Theory· Ranajoy Sadhukhan, Euijin Hong, Sheng Cao, Zechun Liu, Shuowei Jin, Sha Li, Changlong Yu, Xin Liu, Qin Lu, Zhenyu Shi, Priyanka Nigam, Beidi Chen·· 4 hr agoAI score33
STAPLE：通过嵌入模块对预训练检查点做静态稀疏升级
STAPLE: Static Sparse Upcycling of Pretrained Checkpoints via Embedding Modules
AI brief
STAPLE 在 STEM 基础上把 token 索引嵌入作为残差路径接入预训练模型，保留原 FFN 上投影并学习互补的 token 特定信息。在 OLMo-2 1B 上较继续稠密训练在 HumanEval、MBPP、GSM8K、DROP 分别提升 4.27、2.80、2.27、1.65 分，OLMo-2 7B 上同样有效。
Source: arXiv · Machine Learning Theory · arxiv.org