llama.cpp 项目发布了 b11710 版本,通过添加分组专家 top-k 融合来优化 CUDA。此更新包括 HIP 的测试和各种修复,并将更改集成到图优化过程中。该版本还详细介绍了跨多个平台的兼容性和测试,包括 macOS(Apple Silicon 和 Intel)、Linux、Android 和 Windows,并特别提到了 OpenEuler 和 ACL Graph 支持。 AI
影响 通过优化 CUDA 使用来提高在 llama.cpp 上运行的模型推理性能。
排序理由 这是一个特定项目的软件发布,而不是前沿模型发布或重要的行业事件。
- ACL Graph
- android
- Apple Silicon
- CUDA
- grouped experts top-k fusion
- KleidiAI
- Linux
- llama.cpp
- macOS
- Microsoft Windows
- OpenEuler
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →