PulseAugur
实时 11:38:38
实体 Polar Coordinate Positional Embeddings

Polar Coordinate Positional Embeddings

PulseAugur coverage of Polar Coordinate Positional Embeddings — every cluster mentioning Polar Coordinate Positional Embeddings across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_79956 ·

    新的 PoPE 嵌入在 Transformer 中解耦内容和位置

    研究人员开发了极坐标位置嵌入 (PoPE) 来改进 Transformer 架构,通过解耦内容和位置信息。这种新方法 PoPE 解决了现有 RoPE 嵌入中内容和位置纠缠的局限性,这可能会阻碍性能。PoPE 在需要基于位置或内容的索引任务中表现出卓越的性能,并在音乐、基因组学和自然语言的序列建模中显示出显著的提升,甚至优于专为长度外推设计的方法。