Crowd-v1

Crowd-v1：协作式大语言模型训练实现130亿 token，拥有85名贡献者

Crowd-v1项目是一项开源倡议，旨在协作训练一个拥有10亿参数的Transformer模型，而无需依赖大型数据中心或大量资金。该项目在一周内成功训练了130亿 token，共有85名贡献者参与，展示了一种社区驱动的AI模型开发方法。Crowd-v1旨在赋能个人创建开放权重模型，绕过对大型AI实验室的需求，并允许协作式数据提交和代码审计。