一位署名为slvDev的开发者成功地在ESP32微控制器上运行了一个拥有2890万参数的大型语言模型。这一成就意义重大，因为它证明了在低功耗、廉价硬件上运行此类模型的能力，而无需依赖云服务器。该模型运行速度约为每秒9.5个token，对于其在类似硬件上的参数数量而言，这是一个值得注意的性能。 AI
影响 展示了边缘AI和设备端LLM推理的潜力，减少了对云基础设施的依赖。
排序理由 展示了在低功耗硬件上运行LLM的研究里程碑。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
