Project EREN

学生从头开始构建自定义 CUDA LLM 推理引擎

一位计算机科学本科生正在开发项目 EREN，这是一个用 C++ 和 CUDA 编写的自定义 CUDA 驱动的 LLM 推理引擎。该项目旨在通过从头开始实现组件来提供对底层系统的深入理解，首先在 NVIDIA RTX 4060 Laptop GPU 上实现 GPT-2 模型。长期目标是支持高吞吐量、多请求推理，并作为检索增强生成 AI 代理的后端。