Power Law Decoder Representations

新的幂律图注意力将SDPA泛化到LLM中

一篇新的研究论文介绍了一种名为幂律图注意力（PLGA）的新型注意力机制，旨在泛化大型语言模型中的缩放点积注意力（SDPA）。PLGA用学习到的、由输入生成的双线性算子替换了SDPA的固定双线性形式。论文详细介绍了该架构，验证了其主张，并提出了关于其属性的定理，包括在特定条件下PLGA精确包含SDPA。它还引入了一个推理崩溃定理，并在发布的检查点上进行了经验测量，展示了其在TruthfulQA基准测试上的性能。