llama.cpp 项目发布了更新 b11963,通过对短 TOP_K 行使用 work-group argmax 来引入 SYCL(SYCL 是异构计算的高级编程模型)的优化。此优化在 Claude Opus 5.5 的协助下进行,旨在通过在 work-group 内并行处理列来提高性能。基准测试显示速度显著提升,某些情况下执行速度提高了 18 倍以上,尽管少数特定配置的性能有所下降或差异可忽略不计。 AI
影响 提高了兼容硬件上本地 LLM 推理的效率。
排序理由 这是针对特定库的软件更新/优化,而不是新模型发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →