一位开发者创建了一种名为"machin"的新编程语言，它通过C进行编译，专为AI代理设计。使用这种语言，他们成功地在笔记本CPU上以每秒20个token的速度运行了TinyLlama-1.1B模型，其性能是参考C实现的四倍。关键优化包括分组量化、向量宽度利用和专门的字节点积函数，所有这些都没有使用BLAS或llama.cpp等外部库。 AI
影响 通过新颖的语言设计，展示了在消费级硬件上优化LLM推理的潜力。
排序理由 开发者创建了一种新的编程语言，并展示了其在LLM上的性能。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<p>I build <a href="https://github.com/javimosch/machin" rel="noopener noreferrer">machin</a> — a small "machine-first" language that compiles through C, designed for AI agents to write. Its roadmap rule is simple: every feature has to be earned by dogfooding, by building somethi…