IQ3

llama.cpp b11979 发布通过优化量化提升 Arc Pro B70 性能

llama.cpp 的最新版本 b11979 引入了针对各种量化格式的显著性能优化，尤其是在 Arc Pro B70 GPU 上。这些更新侧重于对 Q4_0、Q4_K、Q5_K、Q6_K、Q3_K 和 IQ3 等格式的量化反量化存储进行向量化处理，从而在预填充场景中实现了显著的速度提升。例如，Q6_K 模型性能提升了近 29%，而其他格式也获得了可观的提升，尽管新布局的预填充和解码速度基本保持不变。