CCW3

开发者训练了 5 亿参数 LLM 和 3.3 亿参数图像生成器

一位开发者创建了 HobbyLM，一个拥有 5 亿参数的大型语言模型，以及一个拥有 3.3 亿参数的图像生成器。该 LLM 在 Fineweb 的 400 亿个 token 上进行了预训练，然后进行了后训练以扩展其上下文窗口。该图像生成器受到 ByteDance 的 Dreamlite 架构的启发，并在 Midjourney、Flux 和 Google 的 CCW3 的蒸馏数据集上进行了训练。该项目利用 Claude SDK 构建了一…