实体 llama2.c

llama2.c

PulseAugur coverage of llama2.c — every cluster mentioning llama2.c across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_137495 · Jul 11 · 16:27

新编程语言"machin"在笔记本CPU上运行1B LLM速度提升4倍

一位开发者创建了一种名为"machin"的新编程语言，它通过C进行编译，专为AI代理设计。使用这种语言，他们成功地在笔记本CPU上以每秒20个token的速度运行了TinyLlama-1.1B模型，其性能是参考C实现的四倍。关键优化包括分组量化、向量宽度利用和专门的字节点积函数，所有这些都没有使用BLAS或llama.cpp等外部库。