一位开发者创建了 HobbyLM，一个拥有 5 亿参数的大型语言模型，以及一个拥有 3.3 亿参数的图像生成器。该 LLM 在 Fineweb 的 400 亿个 token 上进行了预训练，然后进行了后训练以扩展其上下文窗口。该图像生成器受到 ByteDance 的 Dreamlite 架构的启发，并在 Midjourney、Flux 和 Google 的 CCW3 的蒸馏数据集上进行了训练。该项目利用 Claude SDK 构建了一个代理式框架来协调训练过程，模型权重和 Playground 可在 Hugging Face 上获取。 AI
影响 此次发布提供了一个新的开源 LLM 和图像生成器，可能促进在小型 AI 模型方面的进一步研究和开发。
排序理由 该条目描述了定制构建的 LLM 和图像生成器模型的预训练和后训练，属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
