Vishesh Tripathi

分组查询专家通过选择性激活查询头来增强 Transformer 的效率

研究人员引入了分组查询专家 (GQE)，这是一种新颖的专家混合层，旨在提高 Transformer 模型（尤其是在长上下文长度下）的效率。GQE 在分组查询注意力 (GQA) 的基础上，为每个 token 选择性地激活查询头专家，而不是统一应用所有头。这种方法在保持 GQA 的 KV 缓存优势的同时，显著减少了激活查询头的计算量。在实验中，GQE 在 300 亿 token 的预算和 2.5 亿参数规模下，实现了与标准 GQA 基线相…