Mathematics of Arrays

新研究利用数组数学优化 Transformer 注意力机制

一篇新的研究论文详细介绍了一种使用数组数学（MoA）优化 Transformer 注意力推理的方法。该论文提出了四种内存高效的构件，包括一种代数消除了 K^T 缓冲区的单查询解码 DNF，实现了特定的 DRAM 流量结果。它还引入了一个具有精确浮点运算的 C/OpenACC GPU 内核和一个具有高效追加操作的多步 KV 缓存。此外，该研究推导出了分组查询注意力（GQA）和多查询注意力（MQA）以减少 KV 流量，所有方法均已通过 P…