实体
llama2.c
llama2.c
PulseAugur coverage of llama2.c — every cluster mentioning llama2.c across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
2890 万参数 LLM 在 8 美元微控制器上运行，使用 Google 的逐层嵌入技术 · 跟踪 4 个来源
一位开发者成功地在 8 美元的 ESP32-S3 微控制器上运行了一个拥有 2890 万参数的语言模型，实现了每秒约 9 个 token 的速度，无需云端依赖。这项边缘 AI 的重大进展利用了 Google 的逐层嵌入技术，允许模型的大部分参数驻留在慢速闪存中，同时将核心处理组件保留在芯片有限的 SRAM 中。该模型在 TinyStories 数据集上进行训练，能够生成简短、连贯的叙事，展示了低成本、离线生成式 AI 应用的新能力。
-
新编程语言"machin"在笔记本CPU上运行1B LLM速度提升4倍
一位开发者创建了一种名为"machin"的新编程语言，它通过C进行编译，专为AI代理设计。使用这种语言，他们成功地在笔记本CPU上以每秒20个token的速度运行了TinyLlama-1.1B模型，其性能是参考C实现的四倍。关键优化包括分组量化、向量宽度利用和专门的字节点积函数，所有这些都没有使用BLAS或llama.cpp等外部库。