English(EN) Running a 28.9M parameter LLM on an $8 microcontroller

使用受 Gemma 启发的技巧，2890 万参数的大语言模型在 8 美元的微控制器上运行

作者 PulseAugur 编辑部 · [2 个来源] · 2026-07-25 18:59

一个拥有 2890 万参数的语言模型已成功在售价 8 美元的 ESP32-S3 微控制器上运行，速度约为每秒 9 个 token。这一重大进展得益于借鉴了 Google Gemma 模型中的逐层嵌入（Per-Layer Embeddings）概念，使得模型的大部分参数可以驻留在速度较慢的闪存中，而不是快速的 RAM 中。该模型在 TinyStories 数据集上进行了训练，能够生成简短连贯的故事，但由于其推理核心的限制，缺乏指令遵循或事实回忆能力。 AI

影响证明了在低功耗边缘设备上运行更大参数大语言模型的可能性，可能为新的设备端 AI 应用带来机遇。

排序理由将现有大语言模型技术新颖地应用于极其受限的硬件。

在 Hacker News — AI stories ≥50 points 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

使用受 Gemma 启发的技巧，2890 万参数的大语言模型在 8 美元的微控制器上运行

报道来源 [2]

Hacker News — AI stories ≥50 points TIER_1 English(EN) · boveyking · 2026-07-25 18:59

在 8 美元的微控制器上运行 2890 万参数的大型语言模型
Mastodon — fosstodon.org TIER_1 English(EN) · [email protected] · 2026-07-25 23:07

在 $8 微控制器上运行拥有 28.9M 参数的 LLM https:// github.com/slvDev/esp32-ai # ai # github # llm

Running a 28.9M parameter LLM on an $8 microcontroller https:// github.com/slvDev/esp32-ai # ai # github # llm

链接 github.com/…/esp32-ai

报道来源 [2]

在 8 美元的微控制器上运行 2890 万参数的大型语言模型

在 $8 微控制器上运行拥有 28.9M 参数的 LLM https:// github.com/slvDev/esp32-ai # ai # github # llm

相关实体

相关话题