llama.cpp 项目发布了更新 b11618,该更新优化了 RDNA3.5 GPU 的性能。此更新为特定的量化类型引入了 64 行 MMQ 瓦片,旨在提高 gfx115x 和 gfx1151 等硬件的处理速度。使用 MUL_MAT 和 MUL_MAT_ID 操作测试的优化显示,中位数性能提升高达 8.0%。Claude Opus-5 协助了该开发。 AI
影响 提高了特定 AMD GPU 上的推理性能,可能使运行本地 LLM 的用户受益。
排序理由 这是开源项目中针对特定硬件架构的软件优化,并非前沿模型发布或重大行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →