Reddit 的 r/LocalLLaMA 子版块上一位用户报告称,在使用 Radeon 780M 集成显卡运行 llama.cpp 配合 ROCm 7.14 版本时频繁崩溃,尽管最初的基准测试速度令人满意。该用户通过设置环境变量 AMD_SERIALIZE_KERNEL=3 找到了一个解决方法,这提高了稳定性,但将预处理速度降低到大约每秒 100 个 token。这个速度仍然比 Vulkan 后端快,但用户正在寻求进一步的解决方案或与其他遇到类似问题的用户进行确认。 AI
影响 强调了在使用特定 AMD 集成显卡硬件运行本地 LLM 时可能出现的稳定性问题。
排序理由 用户报告了特定硬件和软件配置的问题。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →