nvidia/diffusiongemma-26B-A4B-it-NVFP4

DiffusionGemma 通过 vLLM 在 RTX 5090 上本地运行，面临生态系统障碍

在 RTX 5090 GPU 上本地运行 Google 的 DiffusionGemma 模型是可行的，但由于该模型独特的块扩散架构和周围生态系统的不成熟，面临挑战。作者发现 vLLM 是唯一可行的 OpenAI 兼容服务路径，可以将 DiffusionGemma 集成到 Open WebUI 等接口中，因为 Ollama 等标准工具不支持其特定的解码过程。要实现这一点，需要仔细管理 VRAM，特别是使用 NVFP4 量化以适应 RT…