一位 Reddit 用户仅使用 8GB 显存就成功地从零开始训练了一个小型语言模型。该项目可在 GitHub 上找到，专注于 TinyStories 数据集，并探索了各种训练技术。虽然生成的模型只有 2500 万个参数，但用户对在有限的硬件上实现这一壮举表示满意。 AI
影响 证明了在消费级硬件上训练小型模型的可能性，可能降低实验的门槛。
排序理由 用户驱动的研究项目发布了一个小型模型。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →