SO(4) rotations

RotaryQuant 使 120B MoE 模型能在消费级硬件上运行

研究人员开发了 RotaryQuant，一个旨在使大型专家混合（MoE）语言模型能在消费级硬件上运行的新型压缩系统。该系统采用三轴压缩策略，包括混合精度权重量化、LRU 专家卸载以及用于 KV 缓存压缩的 IsoQuant。这种方法允许 Nemotron-H 120B 等模型在 32GB 内存预算内运行，同时保持接近零的困惑度下降和高检索准确率。