PulseAugur
实时 15:12:41
English(EN) Unsupervised Multimodal Clustering for Semantics Discovery in Multimodal Utterances

新的无监督方法增强了多模态话语中的语义发现

研究人员开发了一种新颖的无监督多模态聚类(UMC)方法,旨在改进多模态话语中语义的发现。UMC构建了独特的增强视图用于预训练,为后续聚类初始化表示。它还采用动态样本选择策略,利用最近邻的密度来识别高质量样本用于表示学习,同时确定用于优化此选择的最佳参数。该方法已显示出显著的改进,在基准数据集上的聚类指标得分比现有的最先进方法高出2-7%。 AI

影响 该方法可以通过更好地理解结合了非语言线索的口语来改善人机交互。

排序理由 该集群包含一篇详细介绍新的无监督多模态聚类方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的无监督方法增强了多模态话语中的语义发现

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Hanlei Zhang, Hua Xu, Fei Long, Xin Wang, Kai Gao ·

    多模态话语中用于语义发现的无监督多模态聚类

    arXiv:2405.12775v2 Announce Type: replace-cross Abstract: Discovering the semantics of multimodal utterances is essential for understanding human language and enhancing human-machine interactions. Existing methods manifest limitations in leveraging nonverbal information for disce…