test-backend-ops

llama.cpp 通过 work-group argmax 优化 SYCL 性能 · 跟踪 1 个来源

llama.cpp 项目发布了更新 b11963，通过对短 TOP_K 行使用 work-group argmax 来引入 SYCL（SYCL 是异构计算的高级编程模型）的优化。此优化在 Claude Opus 5.5 的协助下进行，旨在通过在 work-group 内并行处理列来提高性能。基准测试显示速度显著提升，某些情况下执行速度提高了 18 倍以上，尽管少数特定配置的性能有所下降或差异可忽略不计。