ProxyFormer

ProxyFormer架构赋能超长上下文语言模型

研究人员开发了ProxyFormer，这是一种新颖的双流架构，旨在克服处理超长上下文和高分辨率数据在语言模型中的计算限制。该架构使用代理令牌压缩细粒度的局部特征，从而在缩减的空间中实现昂贵的全局交互。这种方法能够显著训练更长的序列长度，其中一个模型展示了以高检索精度处理多达1,048,576个令牌的能力。ProxyFormer在初步的图像生成实验中也显示出潜力。