PulseAugur
中
实时 11:59:29
English(EN) TheBioCollection: Unified Pre-Training Scale LLM Corpus for Biology

新语料库统一生物数据用于LLM训练，提升模型性能

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了TheBioCollection，一个包含526亿个token的语料库，旨在统一分散的生物学数据以进行大型语言模型训练。该语料库整合了关于小分子、蛋白质、基因组序列、细胞和通路的信息，并通过计算出的生物学特性和新的指令任务对其进行了丰富。在TheBioCollection上训练的Gravity-16B-A3B模型，在匹配的评估套件TheBioCollection-Eval上，在所有领域内的性能提升了一倍多，同时保持了通用的语言能力。 AI

影响 这个统一的语料库有望加速能够理解和处理复杂生物数据的专业LLM的开发。

排序理由 该集群描述了一个用于训练专注于生物学的LLM的新语料库和评估套件，该语料库和评估套件在一个学术论文中提出。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新语料库统一生物数据用于LLM训练，提升模型性能

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Hyunjin Seo, Hyeon Hwang, Gyubok Lee, Jay Shin, Jimin Park, Taesoo Kim, Sanghoon Lee, Hongjoon Ahn, Sungjun Han, Sangwon Jung ·

    TheBioCollection: Unified Pre-Training Scale LLM Corpus for Biology

    arXiv:2607.08803v1 Announce Type: cross Abstract: The push toward large language models for biology (BioLM) has created a need for training corpora that can endow models with a genuine understanding of biology. However, existing biological resources, such as molecular databases, …

相关话题