一个名为 ARPL 的新项目已发布，旨在优化 llama.cpp 在基于 ARM 的移动设备上的性能。ARPL 在运行时动态检测硬件功能，例如可用的 ISA 扩展和核心集群，以配置 llama.cpp 以获得更高的效率。这种方法无需设备特定的构建或手动调整，旨在提高包括 Snapdragon 8 Elite 在内的各种 ARM 芯片的性能。 AI
影响 提高了在移动 ARM 设备上运行大型语言模型的效率。
排序理由 这是一个针对特定硬件优化现有开源项目的软件工具发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>I've been working on this for a while and finally pushed a public version.</p> <p>The problem: llama.cpp runs fine on ARM phones, but it doesn't know anything about the specific chip it's on. Same thread count, same context params, whether you're…