ReQAT

新的 ReQAT 框架使 4 位量化 LLM 能够匹配全精度推理

研究人员开发了 ReQAT，一种新颖的训练框架，旨在使大型推理模型 (LRM) 即使在量化为 4 位浮点格式时也能实现全精度推理准确性。现有的量化方法在处理数字和运算符等低熵标记时遇到困难，导致推理能力下降。ReQAT 通过 Trace-Aligned QAT、选择性熵最小化和 Q-FIT 初始化来解决此问题，这些方法共同关注关键决策并稳定训练。这种方法不仅恢复了标准微调的准确性，甚至超越了它，同时显著提高了推理速度并降低了硬件要求。