实体
Tokenization & Embeddings
Tokenization & Embeddings
PulseAugur coverage of Tokenization & Embeddings — every cluster mentioning Tokenization & Embeddings across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
词嵌入：大语言模型语言理解的核心
词嵌入对于大语言模型（LLMs）至关重要，它能将文本转换为捕捉语义关系的数值向量。这些向量使LLMs能够理解词语的相似性并进行类比推理，例如经典的“国王 - 男人 + 女人 ≈ 女王”的例子。现代LLMs通常使用动态的、上下文相关的嵌入，它们会根据周围的文本进行调整，从而提高意义消歧能力，并支持语义搜索和推荐系统等应用。
-
LLM Deep Dive: Positional Encodings Explained
本文深入探讨了位置编码，这是大型语言模型（LLMs）在分词与嵌入章节中的一个关键组成部分。位置编码对于保留输入数据的序列性质至关重要，因为在分词过程中，这种序列性质会丢失。通过向每个编码其位置的 token 嵌入添加一个固定向量，LLMs 可以更好地理解词序、语法和语义，从而在语言翻译和文本摘要等任务中取得更好的性能。