Visual Genome
PulseAugur coverage of Visual Genome — every cluster mentioning Visual Genome across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的Dual-SGG方法通过结合推理机制增强场景图生成 · 跟踪3个来源
研究人员开发了一种名为Dual-SGG的新方法，通过结合基于检测器和基于查询的推理机制来改进场景图生成（SGG）。该方法解决了这两种现有SGG方法之间观察到的差异。通过分析基于检测器的可达性所产生的预测差异，该研究发现了为Dual-SGG设计提供信息的互补见解。在Visual Genome、Open Images v6和GQA-200数据集上进行的实验证明了这种整合方法的有效性。
-
VLMs 实现开放词汇视频场景图生成
一种新的视频场景图生成（SGG）方法利用视觉语言模型（VLMs）来创建视频内容的结构化、机器可读的描述。与依赖固定词汇的传统 SGG 方法不同，这种方法使用 Qwen2.5-VL 等开放词汇 VLMs 直接从视觉和语言线索生成描述。该过程包括从视频中选择关键帧，然后使用 VLM 识别对象、人物及其关系，形成一个可编程分析的图。
-
多模态大模型通过多样化数据类型增强理解能力
多模态应用是处理和生成文本、图像、音频等多种数据类型的系统，使大模型能够更像人类一样理解世界。Conceptual Captions和Visual Genome等数据集对于训练这些模型至关重要。关键概念包括模态对齐（使用注意力机制和跨模态融合等技术创建共享表示）以及跨模态学习（在不同模态之间迁移知识）。这些应用在图像字幕生成、视觉问答以及更直观的人机交互等方面具有实际用途。
-
新基准和模型推动可解释人工智能在内容审核中的应用
研究人员开发了 SenBen，这是一个用于图像可解释内容审核的新基准数据集，其中包含具有详细对象属性和敏感性标签的场景图。他们还使用多任务学习方法创建了一个紧凑的 2.41 亿参数模型，以改进自回归场景图生成。该模型在 SenBen 基准测试中表现强劲，在对象检测和字幕生成方面优于大多数其他模型和商业 API，同时速度更快、内存效率更高。
-
新框架U-CECE通过多分辨率概念分析增强AI可解释性
研究人员推出了一种新颖的框架U-CECE，旨在增强复杂AI模型的可解释性。这个通用的多分辨率系统提供了从简单原子概念到详细结构图的可调概念反事实解释级别。U-CECE利用图神经网络和图自编码器来实现其结构级别，旨在平衡解释的表达能力与计算效率。