一位用户仅花费约200美元就从头开始成功训练了一个拥有11亿参数的大型语言模型。该模型名为'gemmeh'，在fineweb-edu数据集的200亿个token上进行了预训练，然后使用LoRA在openhermes数据集上进行了微调，以创建一个能够进行聊天的模型。该用户分享了该项目的代码、模型权重和一个演示网站，并详细介绍了架构选择和训练过程。 AI
影响 展示了训练定制化LLM的可行性和低成本，可能促进更广泛的实验和开发。
排序理由 用户生成的关于从头开始训练LLM的研究项目。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
