llama.cpp 项目引入了一个名为 ggml-et 的新后端，旨在支持 ET-SOC-1 处理器。此次集成旨在将开源硬件纳入更广泛的开源推理生态系统。虽然 ET 处理器的绝对性能可能无法与现代 CPU 相媲美，但它提供了更高的每瓦性能。开发工作包括大量的内核添加和优化，例如支持各种数学运算、性能日志记录和矢量计算，并提供了构建和运行后端的示例。 AI
影响 增强了特定开源硬件上的推理能力，可能提高某些模型每瓦性能。
排序理由 这是对现有项目的软件集成和后端添加，并非前沿发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<ul> <li> <p>ggml-et: Add performance logging</p> </li> <li> <p>ggml-et: Quants helpers</p> </li> <li> <p>ggml-et: Add MUL_MAT kernel</p> </li> <li> <p>ggml-et: Add ROPE kernel</p> </li> <li> <p>ggml-et: Add RMS_NORM kernel</p> </li> <li> <p>ggml-et: Add GLU kernel</p> </li> <li>…
<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1ush79v/initial_et_backend_by_marty1885_pull_request/"> <img alt="Initial ET backend by marty1885 · Pull Request #24179 · ggml-org/llama.cpp" src="https://external-preview.redd.it/-mAhbx4ExmannZuGzKgjQjQWlYakU…