ThinkBit

ThinkBit 框架在 2 位量化 LLM 中保留推理能力

研究人员开发了 ThinkBit，一个新颖的双位量化框架，旨在保留语言模型的推理能力，同时显著减小其尺寸。该方法包括为不同层分配最佳位宽，使用 Gumbel-softmax 算法进行码字选择，并通过知识蒸馏重新校准尺度。该框架在 MATH-500 基准测试中表现强劲，一个 14B 参数的模型在 3.74 GB 的情况下取得了 94.8 分，而 bfloat16 版本在 29.5 GB 的情况下得分为 97.5。