block floating-point

新的ScaleSearch方法通过优化量化提高了生成模型的效率

研究人员开发了一种名为ScaleSearch的新方法，通过量化来提高生成模型的效率。该技术优化了块浮点（BFP）格式中尺度因子的选择，将量化误差降低了高达27%。提出的ScaleSearchAttention算法与BFP集成，在因果语言建模中表现出接近零的性能损失，并在Qwen3-8B和Llama 3.1 70B等模型的准确性方面显示出显著的改进。