一位开发者详细介绍了 llama.cpp 项目中一个至关重要的性能标志 `-sm row` 的丢失和最终的替换过程。最初，该标志通过在设备之间分割张量，显著提高了多 GPU 设置的吞吐量。然而，使用 Gemma 等新架构时出现了问题，导致行分割时崩溃，迫使切换到较慢的层分割。最终，`-sm row` 标志被完全从 llama.cpp 中移除，但通过并行处理和推测解码等正交功能，性能得到了恢复甚至超越。 AI
影响 说明基础工具的软件更新和架构变化如何影响性能并需要适应。
排序理由 开发者对软件变更及其对其工作流程影响的个人陈述。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
