Low Zi Hong

创客构建7节点ESP32-S3集群以运行3.86亿参数LLM

一位创客成功构建了一个由七个ESP32-S3微控制器组成的定制集群，以运行一个拥有约3.86亿参数的大型语言模型。这是通过将模型的层分布在各个微控制器上并采用激进的量化技术实现的，包括一种新颖的1.58位三元量化用于权重。该项目在GitHub上进行了详细介绍，使用有线SPI连接进行节点间通信，以降低与无线方法相比的延迟。虽然推理速度很慢，大约每九秒生成一个词，但该项目为在资源受限的硬件上运行LLM提供了一个概念验证。