Skip to content
Original
arXiv · Computation and Language· Roshan Balaji, Pavan Kumar S, Vasudev Gupta, Sreejith N, Keerthana Sridhar, Nirav Bhatt·· 4 hr agoAI score23

BioBigBird：面向生物医学文本长程依赖处理的稀疏注意力模型

BioBigBird: A Sparse Attention Model for Long-Range Dependency Processing in Biomedical Text

AI brief

BioBigBird 是一款在大量生物医学文献与临床数据上预训练的双向语言模型，用稀疏注意力机制处理最长 4096 token 的序列，以多阶段训练降低大规模语料噪声，并通过多任务学习框架联合优化命名实体识别与关系抽取。在 BLURB 基准测试中，MTL 增强版 BioBigBird 取得与 SOTA 模型相当的竞争力，模型已公开可用。

Source: arXiv · Computation and Language · arxiv.org

#论文/研究#RAG#数据/训练