实体 2D-RoPE

2D-RoPE

PulseAugur coverage of 2D-RoPE — every cluster mentioning 2D-RoPE across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_151954 · Jul 20 · 04:00

新的二维位置编码方法提升了LLM的复制能力

研究人员发现，即使是所谓的“前沿”大型语言模型，在精确复制其上下文窗口内的输入文本这一简单任务上也存在显著局限性。这种失败归因于Transformer架构中使用的位置编码方法，这些方法会创建阻碍精确复制的捷径。为解决此问题，提出了一种名为2D-RoPE的新方法，该方法将文本组织成二维网格，使复制成为一个更简单的检索任务。实验表明，使用2D-RoPE的Transformer模型在比标准模型长得多的输入长度下也能实现完美的复制，并且在大规…