arXiv · Machine Learning Theory· Zachary Shinnick, Hemanth Saratchandran, Damien Teney, Anton van den Hengel·· 3 小时前AI 评分42
抽象预训练对语言模型能力的持久影响
Lasting Effects of Abstract Pretraining Beyond Perplexity
AI 导读
研究表明小语言模型用抽象栈操作任务进行少量预训练热身，可在 perplexity 相当的情况下提升多跳问答能力，在 MUSIQUE 上最多提升 3.9 F1，HOTPOTQA 与 2WIKIMULTIHOPQA 也有增益。实验显示这种热身加速深层推理链的习得，且仅在预训练初期注入有效，预训练后注入则收益消失，效果可延续至后续数十亿语言 token。
来源：arXiv · Machine Learning Theory · arxiv.org