PulseAugur
中
实时 20:12:33
实体 Word2vec

Word2vec

PulseAugur coverage of Word2vec — every cluster mentioning Word2vec across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
12
90 天内 37
发布 · 30天
0
90 天内 0
论文 · 30天
10
90 天内 30
层级分布 · 90 天
主题
关系
情绪 · 30 天

6 天有情绪数据

最近 · 第 1/3 页 · 共 42 条
  1. COMMENTARY · CL_359457 ·

    10年大型语言模型解释:从香农到注意力机制

    本文通过追溯“法国的首都是哪里?”这个问题的答案在不同人工智能时代中的演变,详细介绍了大型语言模型(LLMs)的发展历程。内容涵盖了克劳德·香农(Claude Shannon)早期工作的概率性文本生成、Word2vec词嵌入的发展,以及循环神经网络(RNNs)和长短期记忆网络(LSTMs)的演进。叙述强调了2014年注意力机制的引入,这是一个关键的进步,改善了对长序列的处理能力,为现代Transformer架构奠定了基础。

  2. TOOL · CL_351992 ·

    基于能量的模型统一了多种机器学习方法

    一篇新发表在arXiv上的教程论文,通过基于能量的模型(EBMs)的视角探讨了机器学习。它提出,通过标量能量函数定义分布的EBMs,可以统一各种机器学习方法。该论文详细介绍了能量函数、推理过程和学习方法的选择如何连接不同的模型,包括生成模型如GANs和扩散模型,表示学习技术如对比学习和BERT,以及强化学习方法。

  3. TOOL · CL_341915 ·

    嵌入模型升级可能会悄无声息地破坏 AI 检索系统

    升级嵌入模型可能会在不抛出错误的情况下悄无声息地破坏检索系统。当新查询向量由与用于现有文档向量的模型不同的模型生成时,就会发生这种情况,导致它们的坐标空间不对齐。因此,相似性搜索会返回不相关的结果,并且标准监控工具由于索引保持功能正常且查询错误率为零而无法检测到该问题。开发人员必须实施特定的检查以确保向量兼容性并衡量检索相关性,以防止这些无声的故障。

  4. TOOL · CL_337990 ·

    Word2Vec 解释:AI 如何通过向量数学学习词义

    本文详细介绍了自然语言处理中的一项基础技术——Word2Vec 模型。文章解释了 Word2Vec 如何通过其 CBOW 和 Skip-gram 架构,使计算机能够理解词语的含义和它们之间的关系。解释中使用了著名的向量算术类比“国王 − 男人 + 女人 = 王后”,来说明该模型如何捕捉语义相似性和类比。

  5. TOOL · CL_336208 ·

    新的嵌入方法使用路径签名捕捉词汇结构

    研究人员开发了一种新颖的句子嵌入方法,通过使用Word2Vec轨迹的路径签名。这种方法根植于粗糙路径理论,以几何上可管理的方式显式地捕捉序列和词汇结构。与丢弃词序的传统池化方法不同,这些路径签名与字符级编辑距离和词序高度相关,为词汇跟踪提供了更具可解释性的替代方案。

  6. RESEARCH · CL_338579 ·

    新模型整合评论和评分,增强推荐系统

    两篇新研究论文提出先进的推荐系统模型,整合多个数据源。第一篇论文介绍了一个利用从用户评论中提取的预定义、隐式和未定义标准的系统,在 TripAdvisor 和 Beer Advocate 数据集上表现优于基线。第二篇论文提出了一个模型,该模型结合了文本评论和数值多标准评分,在准确性上优于 DeepCoNN 等最先进的模型,并展示了与 Word2Vec 嵌入更好的性能。

  7. TOOL · CL_327481 ·

    研究揭示了提高每日物品嵌入兼容性以进行点击率预测的方法

    一篇新的arXiv论文探讨了提高每日物品嵌入兼容性的方法,这对于预测用户行为(如点击率CTR)至关重要。该研究将Word2Vec与XSimGCL的改编版进行了比较,评估了初始化、对齐和尺度管理等各种技术。主要发现表明,ID初始化和正交对齐等干预措施显著提高了嵌入兼容性和CTR,而每日全局重缩放有效地管理了随时间累积的尺度。研究还表明,降维编码器可以进一步使嵌入适应残差漂移,这表明结合上游稳定化、尺度管理和下游任务学习有利于工业应用。

  8. TOOL · CL_295727 ·

    从头开始构建 GPT:微调的挑战和实现细节

    本文详细介绍了从头开始构建生成式预训练Transformer(GPT)模型的最后阶段,重点关注指令微调过程。文章强调,在此阶段,底层架构的重要性不如精确的实现细节,例如一个缺失的空格字符就可能导致模型失败。作者分享了他们构建大型语言模型(LLM)的经验见解,强调了遇到的实际挑战。

  9. TOOL · CL_289442 ·

    AI系统自动分类公民申诉

    研究人员开发了一个AI Appeals Processor,旨在自动化政府服务中公民申诉的分类和路由。该深度学习模型利用多语言BERT,在俄语数据集上达到了82%的准确率,显著优于人工操作员。尽管该系统在人工监督下部署,但将端到端处理时间缩短了50%以上,大多数剩余错误归因于申诉分类本身,而非模型性能。

  10. COMMENTARY · CL_281338 ·

    新AI模型使用复杂行话,可能掩盖局限性

    用户观察到OpenAI和Anthropic的最新模型正在使用更复杂、有时甚至晦涩的术语。这种趋势在OpenAI的'sol 5.6'以及Anthropic的'Fable 5.1'和'opus 5.5'等模型中尤为明显,它可能使解释和实现听起来比实际更复杂,从而掩盖了模型的局限性或错误。有用户推测这可能与水印功能有关,该功能会微妙地改变词语选择以适应特定模式。

  11. TOOL · CL_259284 ·

    新方法从压缩向量表示中解码语义真值条件

    研究人员开发了一种方法,用于确定压缩向量表示何时能够准确捕获词汇表的语义信息。他们建立了一个基于增强真值矩阵秩的条件,以确定精确线性或仿射读出所需的最小维度。使用GloVe和word2vec嵌入进行的实验表明,虽然大多数谓词是可分离的,但使用预训练嵌入未能实现精确仿射恢复。然而,监督训练实现了精确仿射恢复,保留了特征范数和WordNet词汇表中显著的方差。

  12. TOOL · CL_254294 ·

    新孟加拉语句功能分类语料库已开发

    研究人员开发了一个包含 10,000 句孟加拉语的新语料库,这些句子被手动分为陈述句、疑问句、祈使句和感叹句四种功能,以解决孟加拉语句功能分类资源有限的问题。该研究评估了各种特征表示,包括词袋模型 (Bag-of-Words)、TF-IDF 和 Word2Vec,以及经典的机器学习分类器和集成模型。结合 TF-IDF 特征的双层集成模型取得了最高性能,准确率和宏 F1 分数均为 0.95,证明了稀疏词汇表示和集成学习在此自然语言处理任…

  13. TOOL · CL_245294 ·

    使用 Llama-3.1-8B 分析僧伽罗语语义变化

    研究人员开发了一个计算框架,用于分析僧伽罗语从13世纪到20世纪的历时语义变化。该研究利用了静态嵌入(Word2Vec、FastText)和经过微调的 Llama-3.1-8B 模型的上下文嵌入。研究结果表明,语义漂移并非均匀发生,而是显著受到一小部分高影响上下文实例的影响,而非渐进式、广泛的转变。

  14. RESEARCH · CL_247372 ·

    Project Qualia 从收听数据中揭示体验式音乐结构

    研究人员开发了 Project Qualia 方法,利用收听行为数据来揭示歌曲之间的体验式相似性。通过在 9,396 位用户的 5.316 亿次收听记录上训练 Word2Vec 模型,他们创建了一个“Song2Vec”嵌入空间。在移除特定艺术家的数据后,该模型识别出 4,577 对高相似度的音轨,揭示了独立于艺术家身份的、基于流派和时代的聚类。

  15. TOOL · CL_249695 ·

    新的攻击方法针对隐私保护大语言模型的嵌入混淆

    研究人员开发了一种名为代理流形对齐(PMA)的新攻击方法,该方法针对隐私保护大语言模型(LLMs)中使用的嵌入到嵌入混淆技术。这些混淆方法旨在通过本地转换嵌入来保护敏感查询,但它们缺乏强大的密码学保证。PMA将混淆后的向量流视为一个翻译任务,使用Word2Vec对共现模式进行建模以创建代理嵌入,然后对齐它们的流形以重建原始明文。

  16. TOOL · CL_216034 ·

    AI模型利用文本分析预测研究论文质量

    研究人员开发了一种方法,仅使用论文标题和摘要中的文本特征即可将科学论文分为高质量或有缺陷的类别。该研究评估了各种嵌入技术和分类器,发现使用SBERT嵌入的神经网络准确率为87.22%,而FastText-SVM组合的准确率为91.12%。这项工作旨在通过利用文本分析来促进可信的学术研究,为学术诚信工具做出贡献。

  17. TOOL · CL_206286 ·

    语言学研究利用词嵌入可视化词性的模糊性

    研究人员利用word2vec词嵌入和神经网络降维技术,探索了词性的语义空间。该分析将数千个单词映射到三维空间中,揭示了原型词并可视化了词性之间的关系。该研究使用了法语、捷克语、芬兰语、俄语和英语的通用依存关系词性标签,挑战了语言学中词性的传统清晰分类。

  18. TOOL · CL_198161 ·

    自然语言处理流水线检测厄瓜多尔公共采购中的指责性语言

    研究人员开发了一种新颖的自然语言处理(NLP)流水线,用于检测厄瓜多尔官方公共采购系统中的指责性语言。这种混合方法结合了无监督聚类和监督分类,利用了来自Word2Vec、LLaMA和RoBERTa等模型的语义嵌入。该系统在识别潜在的违规评论方面表现出高精度和高召回率,即使在数据不平衡的情况下也是如此,展示了轻量级、领域适应性强的自然语言处理在提高公共采购透明度方面的有效性。

  19. TOOL · CL_187268 ·

    机器学习模型检测社交媒体上的用户死亡

    一篇新的论文详细介绍了能够自动检测社交网站上已故用户的机器学习分类器的开发。该研究利用了从Wikidata和X(前身为Twitter)汇编的新数据集,训练了包括SVM和RF等传统算法以及BiLSTM、CNN和BERT等深度学习模型的各种模型。研究发现,BERT取得了最高的性能,优于所有其他模型。对语言特征的分析显示,死后推文表现出更高的负面情绪,并且更频繁地使用与消极、家庭、宗教和死亡相关的词语,而生前推文则表现出更高的中性情绪,并且…

  20. TOOL · CL_173549 ·

    Yahoo用生成式AI取代Word2Vec以进行广告重定向

    Yahoo通过整合生成式AI来改进搜索重定向,从而增强了其需求方平台(DSP)。此举取代了先前的Word2Vec模型,旨在更准确地将用户意图与广告进行语义匹配。新方法解决了旧方法的局限性,例如词汇过时和缺乏深层上下文理解。