Yoshiaki Takashita

新的超立方体接线方法挑战语言模型中的注意力机制

研究人员开发了一种新颖的序列建模方法，该方法使用超立方体结构上的固定、稀疏和旋转接线模式来替代传统的注意力机制。这种称为旋转稀疏接线的方法，通过超立方体的不同维度逐层连接位置，使得信息能在对数层内传播到整个序列。在 enwik8 的字符级语言建模和混合语言语料库上的实验表明，这种稀疏接线在参数和计算资源显著减少的情况下，实现了与全注意力模型相当或更好的性能。