AudioSet
PulseAugur coverage of AudioSet — every cluster mentioning AudioSet across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的MiCLA框架增强了复调音频表示学习
研究人员开发了一个名为MiCLA的新自监督预训练框架，用于复调音频表示学习。这种两阶段方法使用合成的log-mel混合来将混合表示与其组成声音事件对齐。MiCLA在下游任务上表现出色，在AS-20K和AS-2M数据集上取得了高平均精度（mAP），并在冻结的Convex Gated Probing设置下优于AudioSet上的其他模型。该框架还显示了对组成类别同时检索能力的提高，表明其在从复杂音频混合物中学习方面的有效性。
-
LAST transformer模型通过迭代优化提升音频识别能力
研究人员开发了Looped Audio Spectrogram Transformer (LAST)，这是一种旨在提高音频识别效率的新型transformer模型。LAST首先处理所有音频token，然后使用相同的计算块迭代地优化仅有的类别token，显著减少了后续迭代中对额外参数和操作的需求。这种方法在AudioSet等基准测试中取得了优越的性能，以更少的参数和更高的吞吐量超越了传统的顺序transformer，同时在各种声音分类任…
-
分析AI模型在猫叫声中的表现力范围
研究人员开发了一种分析文本到音频模型表现力范围的方法，并将其专门应用于猫叫声。通过从不同提示和模型生成大量音频片段，他们使用基于音色、音高和响度的表现力范围图可视化了输出的多样性。该研究比较了Stable Audio Open 1.0、EzAudio和TangoFlux，并指出了它们在产生多样化和逼真猫叫声方面的能力差异。
-
新方法以最小的精度损失加速音频频谱图 Transformer 训练
研究人员开发了一种名为 SpecAugment-Patch Merging 的新方法，以提高音频频谱图 Transformer (AST) 训练的效率。该技术涉及在块级别掩码频谱图，然后合并这些掩码块的对。在 AudioSet、ESC-50 和 Speech Commands V2 等数据集上的实验表明，这种合并方法在精度仅略有下降的情况下，将训练吞吐量显著提高了 13.9%，展示了更高效的音频分析模型训练过程。
-
New research tackles catastrophic forgetting in AI sound classification
研究人员研究了在增量学习的声学事件分类任务中防止灾难性遗忘的方法。该研究分析了架构和正则化方法，重点是保护网络内核免受权重更新的影响，并采用了一个随新任务扩展的动态头部分类器。研究结果表明，灾难性遗忘主要影响更深的层，特别是分类器头部。对于领域内的声音分类，冻结特征提取器并微调动态头部分类器被证明是最有效的方法，表现出最小的遗忘、稳定的训练以及良好的记忆保留和学习适应性平衡。
-
音频优先分类可削减自我中心视频字幕的VLM调用
研究人员开发了一种新颖的音频优先方法，用于高效字幕化长视频。该方法优先考虑音频线索，以决定哪些视频片段对视觉语言模型（VLM）的分析最相关，从而降低计算成本。通过训练系统每行动触发一次，而不是每帧触发一次，与现有的基于视觉特征或均匀采样的方法相比，该技术显著提高了行动覆盖率并减少了VLM调用，即使使用冻结的音频特征也是如此。
-
新的BAT系统使用LLM进行空间声音推理
研究人员开发了BAT，一个结合了双耳声景分析模型和大型语言模型（LLM）以实现空间声音推理的系统。为此，他们通过合成AudioSet和SoundSpaces 2.0的空间音频创建了一个新数据集，并开发了SpatialSoundQA，一个用于空间声音感知的问答数据集。该系统的声学前端，即空间音频频谱Transformer（Spatial-AST），在声音事件检测、定位和距离估计方面表现出色。当与LLaMA-2 7B模型集成时，BAT在空…
-
AV-JEPA 模型推进视听自监督学习
研究人员推出了 AV-JEPA，这是一种新的自监督学习模型，它将 LeJEPA 扩展到处理音频和视觉数据。该模型利用早期融合的 Vision Transformer 和模态 dropout 进行掩码，旨在对齐全局视图和局部视图的嵌入。AV-JEPA 在 VGGSound 和 AudioSet 等数据集上取得了出色的分类性能，并提供了开箱即用的零样本视听检索功能，无需复杂的组件，如解码器或对比负样本。
-
研究人员比较Token表征与CNN在鸟类发声检测中的应用
来自DS@GT ARC的研究人员在BirdCLEF+ 2026挑战赛中，探索了Token表征与监督式CNN骨干网络的对比，该挑战赛侧重于在声景中检测动物发声。他们开发了一个基线模型，在私有排行榜上取得了0.936的得分。该研究还调查了基于Token的表征（如来自神经音频编解码器和基础嵌入的表征）是否能与传统的CNN方法相媲美，并将专业的生物声学模型与在AudioSet上训练的Token编码器进行了比较。
-
kandinskylab发布KVAE-Audio，一款高保真音频自编码器
kandinskylab发布了KVAE-Audio，一款新的连续全频带音频自编码器。该模型能有效地将原始音频波形压缩成紧凑的潜在表示，并以高保真度重建语音、音乐和通用声音。它被设计用作生成模型的潜在空间，内部测试表明，当KVAE-Audio集成到流程中时，文本到音频生成质量有所提高。
-
新探测方法提升音频SSL模型评估效果
研究人员开发了一种名为二值化原型探测的新方法，用于评估音频自监督学习模型。该技术解决了现有方法中全局池化造成的_信息瓶颈_，这种瓶颈可能错误地表示嵌入质量并阻碍在局部音频任务上的性能。新的探测方法能更有效地聚合_token_信息，其性能优于传统的线性探测和注意力探测方法，并对_state-of-the-art_结果所需的计算密集型_fine-tuning_的必要性提出了挑战。
-
新的无监督方法分割音频中的多语言笑声
研究人员开发了一种新的无监督方法，用于分割多种语言的声学笑声。该方法将笑声检测视为音频序列上的异常检测问题，利用带有 BYOL-A 编码器表示的 Isolation Forest 算法。与通常偏向英语数据集的现有最先进算法相比，该方法在非英语语境中表现出更优越的性能。