Gravity-16B-A3B

新语料库统一生物数据用于LLM训练，提升模型性能

研究人员开发了TheBioCollection，一个包含526亿个token的语料库，旨在统一分散的生物学数据以进行大型语言模型训练。该语料库整合了关于小分子、蛋白质、基因组序列、细胞和通路的信息，并通过计算出的生物学特性和新的指令任务对其进行了丰富。在TheBioCollection上训练的Gravity-16B-A3B模型，在匹配的评估套件TheBioCollection-Eval上，在所有领域内的性能提升了一倍多，同时保持了通用的语言能力。