Retrieval-Augmented Discrete Diffusion

新的AI方法增强多模态知识图谱补全 · 跟踪2个来源

研究人员开发了用于多模态知识图谱补全的新方法，该任务涉及使用结构、文本和视觉信息推断缺失的实体。一种方法RADD（检索增强离散扩散）通过使用专用的检索器进行广泛召回，并使用去噪器进行细粒度消歧来解耦检索和重排过程。另一种方法MGDT（多模态大语言模型引导扩散Transformer）利用多模态大语言模型作为语义锚点，在扩散Transformer执行图条件去噪之前对齐不同模态。与现有方法相比，RADD和MGDT在基准数据集上都表现出优越的性能。