gemmeh

用户花费200美元从头开始训练了一个11亿参数的LLM，并分享了代码和模型

一位用户仅花费约200美元就从头开始成功训练了一个拥有11亿参数的大型语言模型。该模型名为'gemmeh'，在fineweb-edu数据集的200亿个token上进行了预训练，然后使用LoRA在openhermes数据集上进行了微调，以创建一个能够进行聊天的模型。该用户分享了该项目的代码、模型权重和一个演示网站，并详细介绍了架构选择和训练过程。