一位开发者已成功将 Karpathy 的 llama2.c 模型实现在 2006 iPod Video 5.5G 上。该项目涉及将 int8 runq.c 文件移植,使其仅使用整数运算,因为该设备没有浮点单元。15M 模型,大小为 17 MB,直接加载到音乐缓冲区中,尽管这会阻止运行时播放音乐。未来的计划包括利用两个核心并开发一个专门针对 iPod 的音乐推荐模型。 AI
影响 展示了在极其有限的硬件上运行小型 LLM 的潜力,尽管存在显著的性能权衡。
排序理由 演示特定软件在不寻常、低规格硬件上运行。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →