Unbounded Labs

Unbounded Labs 发布 Bart，一个训练于 1931 年前文本的复古大语言模型

Unbounded Labs 开发了 Bart，一个拥有 28.2 亿参数的大语言模型，其训练数据为 1931 年前的 201 亿个英文 token。该项目自筹资金约 800 美元，旨在探索大语言模型是否能复制历史人物的科学推理能力。Bart 在新创建的 Vintage CORE 基准测试中取得了同等规模下的最佳表现，并展示了高效的训练能力，在 H100 GPU 上完成了为期五天的最终训练。