一位Reddit用户正在寻求关于在SM120 GPU上使用FP8精度训练大型语言模型的最佳软件、内核和配置设置的建议。他们在使用vLLM进行微调时遇到了困难，并且发现通常需要升级到BF16，这抵消了FP8训练的好处。 AI
影响 此查询突显了在特定硬件配置上优化LLM训练效率和可访问性方面持续存在的挑战。
排序理由 用户关于LLM训练特定硬件/软件配置的查询。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
用户寻求SM120 GPU的FP8 LLM训练配置
报道来源 [1]
-
那么，SM120 FP8 训练的最佳软件/内核/配置组合是什么？
<!-- SC_OFF --><div class="md"><p>I’m having a hellluva time trying to fine-tune an FP8 LLM model (both FFT and LORA). I’ve been using VLLM and they sure don’t make it easy on SM120 for FP8. So far everything I’ve tried even semi-successfully requires upscaling (either layers or …