StagQ

StagQ 推出多精度权重格式，实现高效的大型语言模型服务

研究人员推出了一种新颖的多精度权重格式 StagQ，旨在实现大型语言模型（LLMs）的高效服务。StagQ 利用带有额外精炼平面的 2 位基础流，允许将所有支持的精度作为前缀读取，而无需模型权重的多个副本。这种方法在 Llama-3.1-8B、Phi-4 和 OLMo-2-7B 等模型的 MMLU 分数上显示出显著的改进，优于现有的多精度基线。