Stanford AI Lab·· 2022-05-31AI 评分22
LinkBERT:通过文档链接改进语言模型预训练
LinkBERT: Improving Language Model Training with Document Link
AI 导读
summary_zh: LinkBERT 提出在语言模型预训练中利用文档链接(如超链接和引用链接),以捕捉文档间的依赖关系。传统预训练方法逐文档独立建模,而 LinkBERT 通过链接将相关文档联合训练,使模型能学习跨文档的知识关联。
来源:Stanford AI Lab ·