VGGSound
PulseAugur coverage of VGGSound — every cluster mentioning VGGSound across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的X-AVDD方法提高了音视频数据集蒸馏的效率
研究人员开发了X-AVDD，一种新颖的音视频数据集蒸馏方法，显著提高了内存效率和跨模态语义对应关系。与DM和AVDD等现有方法相比，这种新方法将合成成本降低了约8倍GPU小时。X-AVDD在VGGSound和AVE等数据集上表现出优越的性能，提高了准确性和跨架构泛化能力，并且能有效地扩展到AudioCLIP等复杂模型。
-
分析AI模型在猫叫声中的表现力范围
研究人员开发了一种分析文本到音频模型表现力范围的方法，并将其专门应用于猫叫声。通过从不同提示和模型生成大量音频片段，他们使用基于音色、音高和响度的表现力范围图可视化了输出的多样性。该研究比较了Stable Audio Open 1.0、EzAudio和TangoFlux，并指出了它们在产生多样化和逼真猫叫声方面的能力差异。
-
新的 AVENUE 基准测试旨在评估音频-视频编辑模型
研究人员推出了 AVENUE，这是一个旨在改进音频-视频编辑模型的新基准测试和评估框架。AVENUE 基准测试包含 1,291 个源剪辑和 7,957 条编辑指令，这些内容从 VGGSound 数据集中精心挑选而来，涵盖了针对音频、针对视频以及耦合的编辑。配套的评估框架具有模态感知和样本特定性，解决了现有系统中经常忽视意外跨模态变化的局限性。使用 AVENUE 进行的初步评估显示，当前模型在编辑一种模态时，无论使用何种编辑范式，都经常…
-
AV-JEPA 模型推进视听自监督学习
研究人员推出了 AV-JEPA，这是一种新的自监督学习模型，它将 LeJEPA 扩展到处理音频和视觉数据。该模型利用早期融合的 Vision Transformer 和模态 dropout 进行掩码，旨在对齐全局视图和局部视图的嵌入。AV-JEPA 在 VGGSound 和 AudioSet 等数据集上取得了出色的分类性能，并提供了开箱即用的零样本视听检索功能，无需复杂的组件，如解码器或对比负样本。
-
FoleyGenEx框架通过高级控制统一视频到音频生成
研究人员推出了一种新颖的统一视频到音频生成框架FoleyGenEx，该框架解决了现有方法的局限性。FoleyGenEx集成了多模态控制、帧级时间对齐和语义精确度，以实现同步且通用的音频合成。关键创新包括条件注入机制、多模态动态掩码策略以及基于副词的数据增强算法，该算法通过细微的语义增强了文本监督。在AudioCaps和VGGSound等数据集上的实验表明，FoleyGenEx在可控视频到音频生成方面取得了有竞争力的性能。