LampAttention

新的LampAttention技术为专用硬件优化AI模型精度

研究人员开发了LampAttention，一种专为专用硬件加速器设计的新型混合精度FlashAttention技术。该方法以较低精度计算大部分注意力logits，并自适应地以较高精度重新计算敏感子块，以保持数值稳定性和模型性能。使用Qwen3和Gemma 3模型进行的模拟表明，通过选择性地将一小部分计算重新路由到较高精度，该方法可以恢复基线性能。