BioBigBird：面向生物医学长文本的稀疏注意力模型
Get the story
2026年10月9日，arXiv 计算与语言栏目发布一手报道，介绍 BioBigBird：一款在大量生物医学文献与临床数据上预训练的双向语言模型。该模型采用稀疏注意力机制处理最长 4096 token 的序列，通过多阶段训练降低大规模语料噪声，并以多任务学习框架联合优化命名实体识别与关系抽取。在 BLURB 基准测试中，MTL 增强版 BioBigBird 取得与 SOTA 模型相当的竞争力，模型已公开可用。目前尚无后续报道或独立验证信息。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Computation and LanguageBioBigBird：面向生物医学文本长程依赖处理的稀疏注意力模型
BioBigBird 是一款在大量生物医学文献与临床数据上预训练的双向语言模型，用稀疏注意力机制处理最长 4096 token 的序列，以多阶段训练降低大规模语料噪声，并通过多任务学习框架联合优化命名实体识别与关系抽取。在 BLURB 基准测试中，MTL 增强版 BioBigBird 取得与 SOTA 模型相当的竞争力，模型已公开可用。
Heat trend
Current heat 9·Comparable peak 10（Oct 9）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.