实体
Positional encodings (PEs)
Positional encodings (PEs)
PulseAugur coverage of Positional encodings (PEs) — every cluster mentioning Positional encodings (PEs) across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的CIPE方法增强了Transformer在图数据上的性能
研究人员开发了一种名为通信灵感位置编码（CIPE）的新位置编码方法，该方法专为处理非欧几里得图数据的Transformer设计。CIPE利用通信性，这是一种聚合节点之间所有长度路径贡献的度量，来创建一种注意力兼容的几何结构，其中内积反映结构相关性。该方法旨在通过将全局连通性转换为注意力就绪的相似性几何结构来改进Transformer理解图结构的方式。CIPE在七个基准测试中将结构无关的Transformer的性能平均提高了35.5%，…
-
新的CIPE方法增强了Transformer在图数据上的性能
研究人员开发了一种名为通信启发式位置编码（CIPE）的新方法，以改进Transformer处理非欧几里得图数据的方式。CIPE创建了一种几何结构，其中内积反映了节点之间的结构相关性，有效地将全局连通性转化为相似性度量。该方法已显示出显著的改进，在七个基准测试中，非结构感知的Transformer性能平均提高了35.5%，同时也使结构偏向的图Transformer受益。