verifier.py

30.5B MoE LLM 在 4GB VRAM GPU 上以 39.2 tok/s 的速度运行

一位开发者已成功优化了一个拥有 305 亿参数的混合专家（MoE）大型语言模型（LLM），Qwen3-30B-A3B，使其能够在仅有 4 GB VRAM 的标准办公工作站上以每秒 39.2 个 token 的速度运行。这是通过一个多阶段的工程过程实现的，该过程涉及对 llama.cpp 框架的修改和一个名为 Qwen3Studio 的自定义应用程序。关键优化包括将重要的模型组件策略性地放置在 GPU 上，限制每个 token 所咨询的…