Keera

开发者从头开始训练一个9750万参数的Python编码模型，成本仅为1.40美元

一位开发者详细介绍了从头开始训练一个名为Keera的小型、9750万参数的Python编码语言模型的过程，GPU时间成本约为1.40美元。该模型模仿了GPT-2 small的架构，在经过微调后，在HumanEval基准测试中达到了5.5%的成功率。该项目涉及创建自定义分词器、训练循环，并利用RoPE进行位置编码和RMSNorm进行激活归一化等特定架构选择，以优化性能和成本。