ThriftAttention

ThriftAttention 通过择优混合精度注意力机制提升AI效率

研究人员开发了ThriftAttention，一种用于提高AI模型长上下文注意力机制效率的新颖方法。该技术选择性地将更高精度（FP16）应用于一小部分关键的查询-键交互，而其余部分则以较低精度（FP4）进行处理。这种择优方法旨在以FP4推理速度维持接近FP16的质量，从而缓解在长上下文设置中低精度常带来的显著质量下降。该方法已证明其能够恢复FP4和FP16注意力之间性能差距的很大一部分，并且随着序列长度的增长，收益也随之增加。