Skip-gram
PulseAugur coverage of Skip-gram — every cluster mentioning Skip-gram across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
词嵌入的可见性图在文本分类方面显示出潜力
研究人员开发了一种新颖的文本分类方法,该方法使用从词嵌入派生的可见性图。该方法包括将词嵌入平均化为文档向量,然后从该向量构建自然可见性图。当应用于 AG News 基准测试时,这种图表示,特别是节点度向量,取得了高精度,甚至在某些词汇量下超过了基于 BERT 的基线。研究表明,可见性派生特征在文本分类方面具有竞争力,尤其是在选择足够词汇量的情况下。
-
新的基于KAN的方法增强了NLP嵌入层压缩
研究人员开发了一种新颖的方法来压缩自然语言处理模型中的嵌入层,该方法通过引入受Kolmogorov-Arnold Networks (KANs)启发的非线性投影。该方法旨在克服传统低秩分解的局限性,后者通常会施加一个限制表示能力的线性瓶颈。通过引入可学习的单变量函数,所提出的方案增强了压缩嵌入的表达能力。该方法通过将其集成到Skip-gram框架中进行评估,并在词类比和语义相似性基准测试上进行了测试,在匹配参数预算下显示出比标准线性基…
-
新模型使用图像原型进行可解释文档分类
研究人员开发了 ProtoSemImage,这是一种新颖的文档分类方法,它将原型表示为图像而非向量。该方法利用四通道 HSV 空间,其中通道代表语言因素,从而实现类似于动态时间规整的视觉模板匹配。该系统旨在通过使模型能够报告与原型之间的偏差并将原型解码回文本来提高可解释性,在分类准确性方面优于基于向量的原型模型。
-
新方法通过稀疏PPMI图平均改进随机索引嵌入
研究人员开发了一种方法,通过与稀疏正点互信息(PPMI)图进行平均来改进随机索引(RI)嵌入。该技术在童话语料库上进行了测试,在语义类比任务上的准确率从19.4%提高到30.7%。虽然这种图平均方法对RI显示出潜力,但在其他数据集和任务上与Skip-gram和CBOW等神经网络基线相比,其竞争力较弱。
-
稀疏PPMI图平均法提升随机索引嵌入效果
本文介绍了一种通过在稀疏正点互信息(PPMI)图上进行平均来改进随机索引(RI)嵌入的方法。该技术在童话语料库上,针对与Google家族类别相关的语义类比问题,准确率显著从19.4%提升至30.7%。然而,该方法在text8和SimLex-999等其他数据集上并未优于神经基线模型,甚至降低了某些其他嵌入类型的准确率。