Iker García-Ferrero

新的 QAH 方法可恢复压缩的 4 位 LLM 的性能

研究人员开发了一种名为“面向量化的修复”（QAH）的新方法，用于恢复已被压缩并量化为 4 位精度的 LLM 的性能。与传统的“面向量化的训练”（QAT）不同，QAH 直接从原始的、未压缩的模型中提炼出 4 位模型，从而实现更快的收敛和更高的稳定性。由此产生的 Hypernova-60B 模型源自 GPT-OSS 120B 模型，在大多数基准测试中，其性能与 bfloat16 源模型相当或更优，同时使用的内存和参数却大大减少。