BioBigBird：面向生物医学长文本的稀疏注意力模型

2026年10月9日，arXiv 计算与语言栏目发布一手报道，介绍 BioBigBird：一款在大量生物医学文献与临床数据上预训练的双向语言模型。该模型采用稀疏注意力机制处理最长 4096 token 的序列，通过多阶段训练降低大规模语料噪声，并以多任务学习框架联合优化命名实体识别与关系抽取。在 BLURB 基准测试中，MTL 增强版 BioBigBird 取得与 SOTA 模型相当的竞争力，模型已公开可用。目前尚无后续报道或独立验证信息。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。