Qwen3.8–27B

Qwen3.8–27B 模型通过 ExVRAM Lab 的量化在 8GB GPU 上运行

ExVRAM Lab 的研究人员已成功在 8GB NVIDIA RTX 5060 GPU 上完全运行 Qwen3.8–27B 语言模型，实现了约每秒 30 个 token 的生成速度。这是通过利用超低比特量化和现有的开源推理技术实现的，他们称之为“Exchange Compute for VRAM”。该项目旨在通过牺牲部分计算能力来换取更紧凑的权重表示，从而确定在具有有限 VRAM 的消费级 GPU 上运行大型本地 LLM 的可行性。