llama.cpp 项目发布了多项更新，增强了其对 SYCL 和 Intel GPU 的支持。这些更新包括对使用 XMX 引擎和 oneDNN 图形 API 的 Flash Attention 的优化，显著加快了 Qwen3.6-27b 等模型的推理速度。此外，这些更改还解决了 USM 系统分配的缓冲区大小最小值问题，并引入了对 OP XIELU 和 fp16 conv2d_dw 内核类型等新操作的支持。 AI
影响 提高了在 Intel 硬件上本地部署 LLM 的推理性能。
排序理由 对特定硬件加速的开源推理库进行了更新。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
