Dave Bennett

AI模型使用谷歌的嵌入技术在10美元的微控制器上运行

一位AI开发者成功在一款低成本的ESP32-S3微控制器上运行了一个拥有2890万参数的语言模型，鉴于该芯片内存有限，这曾被认为是不可能的壮举。这位开发者（代号为'slvDev'）利用了一种受谷歌Gemma启发的名为Per-Layer Embeddings的技术来管理模型的参数。该方法包括将模型量化为4位，并将大型嵌入表存储在较慢的闪存中，同时将核心推理权重保留在有限的快速RAM中。