Came

新的自适应对数空间量化提高了LLM优化器的内存效率

研究人员开发了一种名为自适应对数空间（AL）的新量化方法，以提高训练大型语言模型时使用的优化器的内存效率。该方法为每个块自适应量化范围，并保持精确零不变性，与现有的低精度技术相比，提供了更好的状态重构误差控制。在TinyLlama-1.1B和GPT-2等模型上的评估表明，在对困惑度或损失影响极小的情况下，优化器状态存储显著减少，这表明了一种更具拓扑感知的优化器量化方法。