微型 LLM 在旧 RTOS 内的模拟 90 年代 CPU 上运行

一位开发者成功地在一个模拟的 1990 年代 CPU 环境中运行了一个拥有 26 万参数、在 TinyStories 数据集上训练的 LLM。该设置运行在一个已有 18 年历史的实时操作系统 (RTOS) 上，该系统是开发者使用 Claude 和 Qwen 等 AI 工具复活的。为了在缺乏浮点运算单元的模拟 ColdFire MCF5307 处理器上实现这一壮举，模型被量化为 INT8，并采用了 Carmack 的快速平方根倒数等技术进行计算，从而实现了每 token 2-4 秒的生成速度。 AI

影响 展示了 LLM 在经过显著优化后，在极低功耗和旧式硬件上运行的潜力。

排序理由 这是一个在高度受限的模拟硬件上运行 LLM 的新颖技术演示，展示了创造性的优化技术。 [lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

• Carmack's fast inverse square root
• Claude
• Freescale ColdFire MCF5307
• MironV
• Qwen
• TinyStories

• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →