Bifocal Attention

新的双焦点注意力方法旨在提高LLM的算法泛化能力

一篇研究论文介绍了一种名为双焦点注意力（Bifocal Attention）的新架构范式，旨在提高大型语言模型（LLM）的算法泛化能力。该方法结合了标准的旋转位置嵌入（RoPE）用于局部标记操作，以及可学习的谐波算子来跟踪长距离递归深度。论文还提出了一种名为频谱演化（Spectral Evolution）的训练协议，允许位置频率在训练期间针对特定算法任务进行调整。然而，该论文已被作者撤回。