Q-Interference

量子启发式注意力机制为语言模型提供内存效率

研究人员开发了Q-Interference，一种受量子原理启发的、用于自回归语言模型的新型经典注意力机制。该方法通过引入相位感知交互来增强标准的GPT注意力，使对齐的特征得以增强，冲突的特征得以抵消。为了克服这种方法的内存密集性，采用了精确的三角分解，通过标准的矩阵乘法实现高效计算，而无需大型中间张量。实验表明，Q-Interference训练稳定，并且在典型的GPT流程中比现有的相位感知注意力方法具有内存优势。