一位 Reddit 用户在使用 vLLM 在 AMD MI325X GPU 上运行 DeepSeek-V4-Flash-0731 模型时遇到了严重问题。尽管遵循了推荐的设置，但模型表现出异常行为，包括不正确的工具使用、无意义的响应以及对话上下文的丢失。用户怀疑问题出在聊天模板、编码、推理或工具集成上，或者可能是 vLLM 的 ROCm 实现问题。 AI
影响 模型集成和硬件兼容性问题可能会阻碍更广泛的应用和发展。
排序理由 用户报告特定模型和软件设置存在问题。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Is anyone here successfully running <strong>DeepSeek-V4-Flash-0731</strong> locally with <strong>vLLM</strong>, especially on AMD MI325X?</p> <p>My setup:</p> <ul> <li>GPU: <strong>1x AMD Instinct MI325X</strong></li> <li>Model: <code>deepseek-ai…