跳到正文
原文
Stanford AI Lab·· 2022-05-31AI 评分22

LinkBERT:通过文档链接改进语言模型预训练

LinkBERT: Improving Language Model Training with Document Link

AI 导读

summary_zh: LinkBERT 提出在语言模型预训练中利用文档链接(如超链接和引用链接),以捕捉文档间的依赖关系。传统预训练方法逐文档独立建模,而 LinkBERT 通过链接将相关文档联合训练,使模型能学习跨文档的知识关联。

来源:Stanford AI Lab ·