BLURB benchmark

BioBigBird模型通过长上下文处理增强生物医学文本分析

研究人员开发了BioBigBird，这是一种新的语言模型，旨在处理生物医学领域的长文本序列。该模型利用稀疏注意力机制处理多达4096个token，解决了现有领域特定LLM的上下文窗口限制。BioBigBird在广泛的生物医学文献和临床数据上进行了预训练，并采用了多阶段训练过程和多任务学习框架，用于命名实体识别和关系抽取。在BLURB基准测试上的评估显示，BioBigBird在与最先进模型相比时取得了有竞争力的结果。