$\mu_i$

新的数学模型精确表示RoPE-softmax注意力前向传播

研究人员为神经网络中RoPE-softmax注意力机制的前向传播开发了一种新颖的数学表示方法。该方法构建了一个依赖于查询的有效矩阵，该矩阵精确地将注意力头的输出建模为一个梯度步骤。该方法利用指数商差来精确保持softmax函数，并在Qwen2.5-0.5B层上进行了验证，证明了其在表示注意力计算和量化矩阵重用所需的校正方面的准确性。