llama.cpp 项目发布了 b11790 版本,通过为其 hexagon 后端引入 Neon 向量化和多线程,实现了显著的性能提升。此次更新包括向量化的 Q4_0 重新打包,并将这些优化应用于更广泛的数据类型和操作。该版本还详细说明了在 macOS、iOS、Linux、Android 和 Windows 等各种操作系统上的兼容性,并为 openEuler 提供了特定配置。 AI
影响 llama.cpp 的性能改进可能使在各种设备上处理大型语言模型的开发人员受益。
排序理由 这是一个特定项目的软件发布,而非前沿模型发布或重要的行业事件。
- android
- hexagon
- iOS
- Linux
- llama.cpp
- macOS
- Microsoft Windows
- Neon
- OpenEuler
- Q4_0
- Qualcomm
- Aaron Levie
- Latent Space Podcast
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →