bartowski1182

llama.cpp PR 通过 AVX2 优化提升 IQ 模型提示处理速度 · 跟踪 1 个来源

llama.cpp 项目的一个拉取请求引入了 AVX2 优化，以显著加速 IQ 模型（尤其是在大批量处理时）的提示处理。基准测试显示速度大幅提升，某些配置下的每秒 token 数提升超过 1000%。这些优化对于 IQ3_S 和 IQ3_XXS 等特定量化类型最为显著，展示了大型模型处理效率的巨大提升。