Content-Based Addressing

新的基于内容的寻址方法改进了大型语言模型中的长上下文处理

研究人员提出了一种新颖的方法来处理语言模型中的长上下文窗口，该方法采用基于内容的寻址，而不是传统的旋转位置嵌入（RoPE）。这种新方法将令牌流划分为单元，在单元内使用RoPE处理局部位置，并根据内容分配地址以进行单元间通信。在字符级Tiny Shakespeare诊断上的实验表明，与连续RoPE相比，困惑度显著提高，这表明该方法可以增强在扩展上下文中的信息检索和使用。