一位开发者从头开始构建了一个小型语言模型（SLM），拥有 2.165 亿个参数和 768 个 token 的上下文长度。该模型使用了来自各种公开的英文文本来源和指令/聊天数据集的约 5.51 亿个 token 进行训练，在单个 NVIDIA RTX 3080 GPU 上花费了约 15 小时。开发者正在寻求关于预训练与 SFT 的 token 预算、数据混合时机、提高事实准确性以及架构选择等方面的反馈。 AI
影响 提供了一个从头开始构建和训练小型语言模型的实际示例，为业余爱好者和研究人员提供了关于架构和数据方面的见解。
排序理由 该条目描述了一个个人项目和小规模模型构建，而非来自主要 AI 实验室的发布或重要研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
