Esperanto Technologies

llama.cpp 添加 ET backend 以实现开源硬件集成

llama.cpp 项目引入了一个名为 ggml-et 的新后端，旨在支持 ET-SOC-1 处理器。此次集成旨在将开源硬件纳入更广泛的开源推理生态系统。虽然 ET 处理器的绝对性能可能无法与现代 CPU 相媲美，但它提供了更高的每瓦性能。开发工作包括大量的内核添加和优化，例如支持各种数学运算、性能日志记录和矢量计算，并提供了构建和运行后端的示例。