Better Stack

大型语言模型在10美元的微控制器上运行；佛罗里达州寻求AI SNAP合同细节

一位开发者成功演示了大型语言模型可以在极低成本的硬件上运行，具体来说是一个10美元的微控制器，实现了每秒近10个token的处理速度。这一壮举已被记录在GitHub上，并通过SlvDev在Better Stack的YouTube频道上得到突出展示。与此同时，佛罗里达州民主党人正在向DeSantis政府施压，要求其就一项旨在提高补充营养援助计划（SNAP）错误率的400万美元AI合同提高透明度，该合同可能带来高达10亿美元的节省。