UD-IQ4_XS

Qwen 3.8-27B 模型在配备新型 VRAM 管理的 16GB GPU 上性能得到提升

一位开发者实施了一种新颖的技术，以增强 Qwen 3.8-27B 模型在 VRAM 有限的硬件上的性能，特别是 16GB CUDA 兼容 GPU。该方法基于现有的 KV 缓存流式传输分支，通过动态管理 VRAM 和主机 RAM 之间的内存。这项创新允许通过在 VRAM 未充分利用时热交换推测模型来集成推测解码，例如 MTP 或 DFlash2，从而提高吞吐量。