Radiance VLLM

寻求 R9700 推理引擎以运行大型语言模型

用户正在寻求关于在 R9700 硬件上运行大型语言模型最高效推理引擎的建议。他们特别希望在多个 R9700 GPU 和系统内存上运行 GLM5.3-Flash，并且还对其他可以满足其硬件限制的大型模型（如 Q-FN 和 DSv4-vision）感兴趣。用户注意到模型分支的泛滥，并寻求关于 GPU 绑定模型与那些需要内存溢出以支持专家混合（MoE）架构的模型最佳选项的指导。