一位 r/LocalLLaMA 用户分享了使用 llama.cpp 在 Windows 11 上通过 Vulkan 和 ROCm 对 Qwen 27B 和 Gemma A4B 模型进行的基准测试。用户验证的基准测试在各种上下文长度下测试了性能，Gemma A4B 通常显示出每秒更高的处理能力，尤其是在更长的上下文窗口下。然而，Qwen 模型在测试的最大上下文大小下使用 Vulkan 表现出更好的性能。 AI
影响 为本地部署的开源模型性能提供了见解，帮助用户选择合适的硬件和模型配置。
排序理由 用户生成的开源模型基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
