新的幂律图注意力将SDPA泛化到LLM中

一篇新的研究论文介绍了一种名为幂律图注意力（PLGA）的新型注意力机制，旨在泛化大型语言模型中的缩放点积注意力（SDPA）。PLGA用学习到的、由输入生成的双线性算子替换了SDPA的固定双线性形式。论文详细介绍了该架构，验证了其主张，并提出了关于其属性的定理，包括在特定条件下PLGA精确包含SDPA。它还引入了一个推理崩溃定理，并在发布的检查点上进行了经验测量，展示了其在TruthfulQA基准测试上的性能。 AI

影响 引入了一种新的注意力机制，可能在大型语言模型中提供改进的泛化能力和效率。

排序理由 研究论文，详细介绍了一种用于LLM的新型注意力机制。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Lean 4 Programming Language
• NOTEARS-MLP Algorithm
• PLDR-LLM
• PLGA
• Power Law Decoder Representations
• Power Law Graph Attention
• scaled dot-product attention
• TruthfulQA

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →