slvDev
PulseAugur coverage of slvDev — every cluster mentioning slvDev across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
开发者在ESP32微控制器上运行了2890万参数的LLM
一位署名为slvDev的开发者成功地在ESP32微控制器上运行了一个拥有2890万参数的大型语言模型。这一成就意义重大，因为它证明了在低功耗、廉价硬件上运行此类模型的能力，而无需依赖云服务器。该模型运行速度约为每秒9.5个token，对于其在类似硬件上的参数数量而言，这是一个值得注意的性能。
-
大型语言模型在10美元的微控制器上运行；佛罗里达州寻求AI SNAP合同细节
一位开发者成功演示了大型语言模型可以在极低成本的硬件上运行，具体来说是一个10美元的微控制器，实现了每秒近10个token的处理速度。这一壮举已被记录在GitHub上，并通过SlvDev在Better Stack的YouTube频道上得到突出展示。与此同时，佛罗里达州民主党人正在向DeSantis政府施压，要求其就一项旨在提高补充营养援助计划（SNAP）错误率的400万美元AI合同提高透明度，该合同可能带来高达10亿美元的节省。
-
AI模型使用谷歌的嵌入技术在10美元的微控制器上运行
一位AI开发者成功在一款低成本的ESP32-S3微控制器上运行了一个拥有2890万参数的语言模型，鉴于该芯片内存有限，这曾被认为是不可能的壮举。这位开发者（代号为'slvDev'）利用了一种受谷歌Gemma启发的名为Per-Layer Embeddings的技术来管理模型的参数。该方法包括将模型量化为4位，并将大型嵌入表存储在较慢的闪存中，同时将核心推理权重保留在有限的快速RAM中。
-
2890 万参数 LLM 在 8 美元微控制器上运行，使用 Google 的逐层嵌入技术 · 跟踪 4 个来源
一位开发者成功地在 8 美元的 ESP32-S3 微控制器上运行了一个拥有 2890 万参数的语言模型，实现了每秒约 9 个 token 的速度，无需云端依赖。这项边缘 AI 的重大进展利用了 Google 的逐层嵌入技术，允许模型的大部分参数驻留在慢速闪存中，同时将核心处理组件保留在芯片有限的 SRAM 中。该模型在 TinyStories 数据集上进行训练，能够生成简短、连贯的叙事，展示了低成本、离线生成式 AI 应用的新能力。