KV iteration

FP8 attention精度问题分析，提出反向迭代与S=256缩放

一篇新的研究论文分析了FP8 attention计算中的精度挑战，特别关注当概率矩阵（P）被转换为FP8时的softmax概率矩阵。该研究发现了一种称为“P-collapse”的问题，它在正向KV迭代时发生，导致非sink概率值下溢。研究人员提出了一种解决方案，结合反向KV迭代和静态缩放因子S=256（2^8），以消除这种下溢并提高输出精度。