C/CUDA

开发者从零开始用 C/CUDA 构建 GPT-2 规模模型

一位开发者创建了 NanoEuler，一个完全从零开始使用 C/CUDA 构建的 GPT-2 规模语言模型，摒弃了 PyTorch 等常用 AI 库。该项目侧重于工程方面，具有手动编写的训练前向和后向传播。该模型拥有约 1.16 亿个参数，可以在单个消费级 GPU 上进行训练，并展示了学习到的语法和百科全书式的知识，尽管由于其规模而缺乏现实世界的知识。