实体
Positional Encodings
Positional Encodings
PulseAugur coverage of Positional Encodings — every cluster mentioning Positional Encodings across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
LLM Deep Dive: Positional Encodings Explained
本文深入探讨了位置编码，这是大型语言模型（LLMs）在分词与嵌入章节中的一个关键组成部分。位置编码对于保留输入数据的序列性质至关重要，因为在分词过程中，这种序列性质会丢失。通过向每个编码其位置的 token 嵌入添加一个固定向量，LLMs 可以更好地理解词序、语法和语义，从而在语言翻译和文本摘要等任务中取得更好的性能。
-
图神经网络的截断位置编码：理论与实验分析
一篇新的研究论文探讨了图神经网络（GNNs）中使用的截断位置编码（PEs）的理论特性。研究表明，虽然完整的谱和基于游走的PEs具有同等的表达能力，但由于复杂性限制而在实践中常用的截断版本却存在显著差异。研究证明，截断的谱PEs的威力不如之前认为的那么大，并且在真实世界数据集上，不同截断PEs的组合表现最佳。
-
大型语言模型使用位置编码来理解数据顺序
位置编码是大型语言模型（LLMs）理解数据序列特性的关键组成部分，因为Transformer架构本身不处理顺序。这些编码将关于token位置的信息注入其嵌入中，使模型能够掌握关系和上下文。这对于翻译和摘要等任务至关重要，因为词序会显著影响含义。