Skip to content
Hot eventLive

STAPLE：通过嵌入模块静态稀疏化复用预训练检查点

1 reports1 sources3 hr ago updated

Get the story

AI overview

STAPLE 是一种在 STEM 基础上发展的方法，通过把 token 索引嵌入作为残差路径接入预训练模型，对预训练检查点做静态稀疏升级，同时保留原有 FFN 上投影，并学习互补的 token 特定信息。2026-10-12 的 arXiv 报道（Machine Learning Theory，一手）显示，在 OLMo-2 1B 上，STAPLE 较继续稠密训练在 HumanEval、MBPP、GSM8K、DROP 分别提升 4.27、2.80、2.27、1.65 分；该方法在 OLMo-2 7B 上同样有效。

Generated from reports · updated 3 hr ago

LatestOct 12
STAPLE 在 OLMo-2 1B 上四项基准提升显著，并在 OLMo-2 7B 上同样有效。

Timeline

Follow the coverage from different angles.

Oct 12, 2026
  1. arXiv · Machine Learning Theory
    STAPLE：通过嵌入模块对预训练检查点做静态稀疏升级

    STAPLE 在 STEM 基础上把 token 索引嵌入作为残差路径接入预训练模型，保留原 FFN 上投影并学习互补的 token 特定信息。在 OLMo-2 1B 上较继续稠密训练在 HumanEval、MBPP、GSM8K、DROP 分别提升 4.27、2.80、2.27、1.65 分，OLMo-2 7B 上同样有效。

Heat trend

There is not enough continuous observation data to draw a trend yet.