FSD50K
PulseAugur coverage of FSD50K — every cluster mentioning FSD50K across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
前沿人工智能模型在标注 ASMR 音频方面遇到困难，寻求人类输入
一个训练文本到 ASMR 模型的项目发现，当前前沿人工智能模型在准确标注特定声音（如纸张沙沙声或刷子声）的音频片段方面存在困难。虽然 Gemini 3.1 Pro 等模型在通用音效方面表现良好，但在识别 ASMR 特有触发器时，与人类标注相比，其性能显著下降。该项目正在众包 ASMR 音频片段的人类标注，以改进模型训练并弥补识别细微音频线索的不足。
-
Synth-JEPA 方法实现了无渲染器合成器参数搜索
研究人员开发了 Synth-JEPA，一种用于优化合成器参数以匹配目标音频的新颖方法。该方法学习音频和参数的联合表示，通过在学习空间中直接评估候选参数来实现无渲染器搜索。与 Surge XT、NSynth 和 FSD50K 等数据集上的现有方法相比，Synth-JEPA 表现出卓越的性能，听众在绝大多数试验中更喜欢其匹配结果。
-
New research tackles catastrophic forgetting in AI sound classification
研究人员研究了在增量学习的声学事件分类任务中防止灾难性遗忘的方法。该研究分析了架构和正则化方法，重点是保护网络内核免受权重更新的影响，并采用了一个随新任务扩展的动态头部分类器。研究结果表明，灾难性遗忘主要影响更深的层，特别是分类器头部。对于领域内的声音分类，冻结特征提取器并微调动态头部分类器被证明是最有效的方法，表现出最小的遗忘、稳定的训练以及良好的记忆保留和学习适应性平衡。
-
MJEPA架构通过统一编码器简化视听学习
研究人员推出了一种新颖的视听学习架构MJEPA，该架构使用单一的统一编码器来处理两种模态。这种方法通过采用单一的预测目标，在模态内部和跨模态进行操作，从而简化了现有方法。研究表明，跨模态预测至关重要，因为缺失跨模态预测会导致表示能力下降，而包含跨模态预测则通过利用另一种模态的优势，显著提升了每种模态的表示能力。MJEPA模型，特别是冻结的ViT-g变体，在AudioSet-20K和ESC-50等音频基准测试中表现出色，并且在视频任务上…
-
MJEPA：统一的视听学习架构揭晓
研究人员推出 MJEPA，这是一种新颖的联合嵌入预测架构，专为视听学习而设计。该方法使用单一的统一编码器来处理两种模态，通过在模态之间和模态内部使用单一的预测目标来简化学习过程。研究表明，跨模态预测对性能至关重要，MJEPA 的表征受益于跨模态学习。MJEPA 模型取得了优异的成果，在 AudioSet-20K 上超越了之前的冻结基线，并在其他基准测试中取得了有竞争力的性能，同时使用的视频数据量显著减少。
-
AudioPG 使用合成数据进行高效音频模型预训练
研究人员开发了 AudioPG，一个使用程序化生成的合成数据而非真实录音进行音频模型预训练的新颖框架。这种方法显著降低了训练成本、策展工作量和隐私担忧。使用 AudioPG 训练的基于 Transformer 的模型在各种真实音频基准测试中表现强劲，达到了高准确率，并在单个 GPU 上在 20 分钟内完成了预训练。对模型潜在空间的分析表明，物理声学因素出现在不同的子空间中，从而产生了可解释的表征。
-
新评分方法提升音频-语言AI的噪声鲁棒性
研究人员开发了一种名为漂移增强评分（Drift-Augmented Scoring, DAS）的新技术，以提高零样本音频-语言分类模型在声学噪声下的鲁棒性。该方法在余弦评分上增加了一个小额奖励，当噪声音频嵌入朝着文本提示预测的方向漂移时，会奖励相应的类别。DAS在UrbanSound8K和FSD50K等基准数据集上展示了显著的改进，在各种噪声条件下提高了准确率和mAP得分。
-
Google Research 发布大规模声音嵌入基准，推动 AI 听觉智能发展
Google Research 推出了大规模声音嵌入基准 (MSEB)，这是一个开源平台，旨在推进 AI 听觉智能领域的发展。MSEB 标准化了八项核心声音相关能力（包括转录、分类和重建）的评估，目标是突破当前性能限制。该基准包含了多样化的数据集，例如包含超过 177,000 个语音查询的 Simple Voice Questions (SVQ) 数据集，并整合了多模态信息以模拟现实世界场景，从而促进更强大的声音理解模型的开发。