一位 r/LocalLLaMA 子版块的用户正在寻求关于配置 QFN 以在 48GB Ampere GPU(具体为 A40)上获得最佳性能的建议。他们目前正在运行一个 27B 模型,并有兴趣探索 QFN 以期提高速度和能力,因为该系统拥有 128GB RAM。 AI
排序理由 关于特定硬件/软件配置问题的用户生成内容,并非重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
一位 r/LocalLLaMA 子版块的用户正在寻求关于配置 QFN 以在 48GB Ampere GPU(具体为 A40)上获得最佳性能的建议。他们目前正在运行一个 27B 模型,并有兴趣探索 QFN 以期提高速度和能力,因为该系统拥有 128GB RAM。 AI
排序理由 关于特定硬件/软件配置问题的用户生成内容,并非重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
<!-- SC_OFF --><div class="md"><p>Anyone have a good config they've found for QFN on a A40 (or similar Ampere GPU(s) with 48GB VRAM)? The system the card is in has 128GB of RAM (DDR3); right now it's running 27B but I'm curious if there's a way to move to QFN to maybe get better …