实体
word embedding
word embedding
PulseAugur coverage of word embedding — every cluster mentioning word embedding across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 4
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 4
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 4 条
-
扩散张量成像可视化LLM信息流
研究人员开发了一种新颖的方法，使用扩散张量成像（DTI）来可视化大型语言模型（LLMs）中词嵌入的信息流。该技术超越了分析孤立的单词，而是检查整个自然语言表达，揭示了嵌入空间表示如何在令牌之间变化。DTI方法为LLM的可解释性提供了新的见解，并可能识别出用于模型剪枝的未充分利用的层。
-
新框架旨在使AI词嵌入可被人类理解
一个名为Concept-Vector的新框架被提出，旨在将AI模型中的词嵌入提炼成人类可理解的“概念向量”。这些向量旨在分离与语义、句法和统计相关的组件，每个组件都有一个人类可读的标签。该项目目前是一个数据设计概念，正在寻求反馈，并已公开了其支持文档和代码。
-
词嵌入驱动出人意料的强大 NLP 结果
词嵌入，一种自然语言处理中的基本技术，尽管其性质看似基础，但已被证明具有惊人的强大能力。这些嵌入的功能类似于矩阵内的快速行查找，能够在各种 AI 应用中实现稳健的结果。它们的效率可与独热矩阵乘法相媲美，突显了它们在深度学习中的有效性。
-
研究发现 PCA 去偏会扭曲词嵌入的几何结构
一项发表在 arXiv 上的新研究分析了基于主成分分析（PCA）的词嵌入性别去偏方法。研究表明，虽然直接性别偏见通常集中在第一个主成分上，但关联偏见则分布在嵌入的多个维度中。研究还发现，移除主成分以减少偏见会导致嵌入的几何结构和语义关系的退化。这些发现表明，简单的子空间移除技术可能不足以实现全面的去偏，因为偏见并非纯粹的低秩，且去偏需要在减少偏见和保留语义之间进行权衡。