一位创客成功构建了一个由七个ESP32-S3微控制器组成的定制集群，以运行一个拥有约3.86亿参数的大型语言模型。这是通过将模型的层分布在各个微控制器上并采用激进的量化技术实现的，包括一种新颖的1.58位三元量化用于权重。该项目在GitHub上进行了详细介绍，使用有线SPI连接进行节点间通信，以降低与无线方法相比的延迟。虽然推理速度很慢，大约每九秒生成一个词，但该项目为在资源受限的硬件上运行LLM提供了一个概念验证。 AI
影响 展示了在低功耗、分布式硬件上运行LLM的可行性，可能为边缘AI应用提供支持。
排序理由 这是一个定制硬件项目，展示了在微控制器上进行LLM推理，而非前沿模型发布或重要的行业事件。
在 Mastodon — mastodon.social 阅读 →
- Arduino
- BitNet
- ESP32-S3
- ESP-IDF
- ESP-Now
- GitHub
- Low Zi Hong
- MIT
- Simulations Publications, Inc.
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
