llama.cpp 项目发布了 b12181 版本,其中包括对 hexagon 架构的优化。这些更改侧重于将 post-norm residual add 融合到 RMS_NORM_MUL 操作中,并重构 RMS_NORM 融合以包含专用的 RMS_NORM_MUL_ADD opcode。这些修改的目标是通过利用 HVX 寄存器和简化融合逻辑来提高性能。 AI
影响 通过 llama.cpp 在高通硬件上提升 AI 推理性能。
排序理由 这是开源项目中针对特定硬件架构的软件优化版本,并非前沿模型发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →