llama.cpp 项目发布了多项更新,包括改进 CUDA 和 FlashAttention 调度以提高效率。版本 b11401 对日志记录和服务器架构进行了重大更改,支持 Windows 控制台的 ANSI 颜色,并将子命令与日志分开。此外,此版本还为包括 macOS、Linux、Android 以及支持 ACL Graph 和 Xuan Son Nguyen 的各种 openEuler 配置在内的广泛操作系统和硬件提供了构建版本。 AI
影响 对 llama.cpp 的改进提高了本地 LLM 部署的效率和可用性。
排序理由 该集群包含 llama.cpp 项目的发布说明,详细介绍了软件更新和错误修复,而不是新产品发布或重大的研究突破。
- ACL Graph
- android
- b11401
- CUDA
- FlashAttention
- iOS
- KleidiAI
- Linux
- llama.cpp
- macOS
- Microsoft Windows
- OpenEuler
- Xuan Son Nguyen
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →