Asymmetric Attention Heads

新的非对称注意力头框架优化Transformer上下文分配

研究人员开发了一个名为非对称注意力头（AAH）的新框架，旨在优化Transformer模型内的上下文分配。与所有注意力头接收相同上下文的标准多头注意力不同，AAH允许每个注意力头或一组注意力头具有可变的上下文长度。这种方法旨在通过让一些注意力头专注于局部上下文，而另一些注意力头处理长距离依赖关系来提高效率和性能。在4096个token设置下使用AAH进行的初步实验显示出有希望的结果，某些变体相比全注意力实现了更低的验证损失。