CLAP
PulseAugur coverage of CLAP — every cluster mentioning CLAP across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新审计揭示 LALM 中模型依赖的音频基础
研究人员开发了一种新的黑盒因果审计方法，用于调查大型音频语言模型 (LALM) 中的幻觉。该方法隔离音频内的证据区域，以了解模型如何为其声明打下基础。研究发现，像音频感知解码 (AAD) 这样的缓解技术的有效性在 Qwen2-Audio-7B 和 Audio Flamingo 3 等模型之间存在显著差异，这表明存在不同的基础机制。所提出的方法与对比解码相结合，将 Qwen2-Audio-7B 的准确率从 57.1% 提高到 71.9%。
-
研究发现，音频嵌入保留了重要的音乐内容
研究人员调查了各种预训练音频编码器生成的音频嵌入中保留的信息。通过使用共享的潜在扩散解码器从这些嵌入中重建音频，他们观察到基于编码器的训练目标及其暴露的时间和频谱分辨率，重建能力存在显著差异。即使是为特定任务设计的嵌入也表现出重建可测量源特异性和高级音乐内容的能力。
-
AI模型针对自闭症听觉过敏研究进行微调
一项博士研究项目正在探索针对非典型听力人群的音频情感识别，特别是关注自闭症患者的听觉过敏。该方法通过在具有神经典型听众情感反应的数据集上使用低秩适配（LoRA）对对比语言-音频预训练（CLAP）模型进行微调。此方法旨在从有限的标注数据中泛化情感反应，以应对评估个体过敏性的挑战。
-
新的SonicCaps数据集通过多样化字幕增强音频语言模型
研究人员推出了SonicCaps，这是一个新推出的、大规模的数据集，旨在改进音频语言建模和音频检索。该数据集包含约1500万个字幕，与70万个音频片段配对，使用Qwen3-Omni多模态模型生成。SonicCaps旨在通过提供多样化、细粒度的字幕来克服现有数据集的局限性，这些字幕能够捕捉声学细节并反映听觉感知的模糊性。人类评估表明，SonicCaps字幕被认为更具描述性和精确性，从而在训练CLAP模型进行音频检索和分类任务时提高了性能。
-
LLM增强的对齐改进了零样本呼吸音分类
研究人员开发了一种新颖的零样本呼吸音分类框架，通过将自监督呼吸编码器与临床术语对齐。该方法利用医学LLM从元数据生成结构化报告，为对比学习创建语义锚点。该方法结合了基于sigmoid的对比损失、编码器的原生SSL目标以及相似性感知负采样，以改善病理边界区分。在多个任务和数据集上，该框架实现了61.3%的平均零样本AUC，优于CLAP和Qwen2-Audio等现有模型，并且仅使用显著更少的数据就达到了最高的线性探测AUC。
-
LLM幻觉信号被识别为简单的均值偏移
研究人员发现，检测大型语言模型幻觉的主要信号是模型隐藏状态内的简单均值偏移。在各种7B规模的模型和数据集上，复杂的探针架构并未显著优于L2正则化逻辑回归等基本方法。研究表明，探针设计中感知到的复杂性很大程度上是由于估计高维协方差的困难，而不是可利用的非线性。研究结果表明，连续的层带包含幻觉信号，可以进行有效聚合。
-
新方法审计生成式音频大语言模型，发现生成式通话价值有限
研究人员开发了一种新的方法，通过审计生成式音频大语言模型（LLMs）的生成式通话来评估它们。这种方法区分了声学证据的价值和调用生成式模型的必要性。研究发现，虽然仅有文本记录的准确性有限，但像CLAP和WavLM这样的编码器模型在无需生成式通话的情况下就能达到高准确率。在利用了文本记录和编码器证据之后，才评估生成式通话的边际价值，而新方法显示与不调用基线相比改进甚微。
-
新框架通过跨具身学习和程序化生成增强具身AI模拟
研究人员开发了用于为具身AI创建更真实、更通用的模拟环境的新框架。CLAP通过协调不同的动作空间，能够在不同机器人和人类代理的各种视频数据上进行训练，旨在提高泛化能力并超越单一具身模型。4DSynth从自然语言、蓝图或照片生成可控、可编辑的4D环境，便于创建动态模拟。NeoWorld-Pro使用MLLM将单张图像转换为可执行程序，用于交互式3D环境，并通过物理引擎进行优化以提高真实性，从而能够执行复杂的下游任务。
-
AI系统利用多模态数据进行对话式音乐推荐
来自Team Semiintelligencn的研究人员为ACM RecSys 2026 TalkPlayData挑战开发了一个多模态对话式音乐推荐系统，该系统采用了三阶段流程。该系统整合了多种嵌入空间，包括曲目和用户CF-BPR、用于元数据的Qwen3、用于音频的CLAP以及用于视觉数据的SigLIP，并结合了BM25和通过Reciprocal Rank Fusion进行的艺术家匹配。进一步的实验探索了LLM引导的艺术家注入和专辑续…
-
新的生成框架为出行模型创建逼真的合成人口
研究人员开发了一种新颖的两阶段生成框架，用于为基于活动的出行需求模型创建逼真的合成人口。第一阶段使用具有梯度惩罚的正则化 Wasserstein GAN (WGAN-GP) 来提高静态社会人口属性的可行性、多样性和新颖性。第二阶段采用 Transformer 和 LSTM-Attention 模型，根据合成的表格数据生成序列出行行为，例如行程链。这种方法增强了对有效未见属性组合的恢复能力，并提高了模型的整体性能。
-
新研究解决语言模型中的视听事件感知问题
两篇新研究论文介绍了语言模型中视听事件感知的新方法。第一篇ST-OmniQA提出了一个用于移动声源的时空视听推理基准，以及一个名为ST-Omni-R1的模型，该模型集成了视听上下文以改进事件识别和跟踪。第二篇SCoPE提供了一个无需训练的框架，利用稀疏的跨模态先验交换来增强视听事件感知，使模态能够相互引导，从而减轻虚假共激活。
-
Gemini-3.1-Pro-Preview 在音频分类基准测试中领先，超越竞争对手
一项新的基准测试评估了包括多个Gemini模型和Kimi-Audio-7B-Instruct在内的十一种音频分类方法在声源识别任务上的表现。表现最佳的模型Gemini-3.1-Pro-Preview在类别级F1分数上达到了85.6%，在细粒度F1分数上达到了56.7%。研究还发现，Gemini模型经常给出自信但错误的答案，并且响应长度与准确性不相关。
-
CLAP模型赋能低资源印度语言的音频滥用检测
研究人员开发了一种利用CLAP模型检测低资源印度语言中音频滥用的方法。该方法绕过了对准确语音转文本转录的需求，而这种转录对于这些语言通常是不可靠的。通过使用CLAP现有的音频表示和轻量级分类器，即使每种语言的标记数据很少，该系统也能达到接近完全监督方法的性能。这表明CLAP作为跨语言音频滥用检测的成本效益基础的潜力。
-
音频基础模型在无领域特定训练的情况下捕获系统发育信号
一项发表在arXiv上的新研究调查了大型音频基础模型是否能在没有明确为此目的进行训练的情况下，从物种发声中捕获系统发育信号。研究发现，像CLAP和BEATs-bio这样的通用模型在恢复海洋哺乳动物和鸟类物种的系统发育距离方面表现出显著能力，其性能优于手工制作的特征。令人惊讶的是，像BirdNET这样的领域特定模型并未显示出更优越的性能，这表明在音频数据上进行广泛的预训练可能足以编码进化信息。
-
新的FuSiLi方法通过全局监督对齐多模态音乐数据
研究人员开发了FuSiLi（Fused Sinkhorn-Localized Similarity），一种新颖的多模态对比学习音乐方法。该方法仅使用全局监督，即可有效地学习音频和视觉表示之间的局部关系，例如将表演音频映射到乐谱位置。通过对预训练的CLIP和CLAP编码器进行微调，FuSiLi在帧级对齐任务中表现出色，并在跨模态检索中保持竞争力。
-
新方法增强VLM到VLA的适应性以实现机器人控制 · 跟踪2个来源
两篇新的研究论文提出了将视觉语言模型（VLM）适配为机器人视觉语言动作（VLA）模型的方法。第一篇论文介绍了CLAP（因果语言-动作预测），它将自然语言描述添加到动作序列中，以在微调过程中保持VLM的能力。第二篇论文Anchor-Align使用表示锚定和语言-动作对齐来防止预训练表示被覆盖并提高泛化能力。两种方法在机器人基准测试和物理机器人测试中都显示出显著的改进。
-
研究发现CLAP音频嵌入可靠地编码声学属性
研究人员开发了一个探测框架来分析CLAP音频嵌入，揭示了这些表示中如何编码基本的感知属性。研究发现混响（RT60）、响度（LUFS）和相对音高（RP）被近似线性编码，而频谱内容（SC）需要非线性探测。观察到这些编码模式在多个音频基础模型中具有通用性，尽管一些幅度不变的架构被发现丢弃了响度信息。
-
新框架改进DCASE 2026挑战赛的音频分类
研究人员开发了一个新的异构音频分类框架，专为DCASE 2026挑战赛设计。该系统利用基于CLAP的音频-文本表示，并包含多项增强功能，包括使用过滤后的BSD35k子集扩展训练集，以及用于声学建模的特定特征分支。该框架还利用层级感知分类器和基于KNN的后处理来优化预测，在其最佳单一系统在BSD10k-v1.2数据集上实现了80.84%的层级F1分数。
-
新的SIMAX框架生成模拟的临床医生-患者对话用于AI训练
研究人员开发了SIMAX，一个旨在为训练和评估AI驱动的沟通编码系统生成模拟临床医生-患者对话的框架。该框架利用预定义的场景、角色和语音条件，通过Global Codebook和WISER Codebook进行控制，来创建逼真的对话。SIMAX已证明其能够跨越不同医学专业生成大量模拟对话的能力，并且自动化和人工评估表明其语音质量和临床真实性合理，从而为医疗保健沟通领域的AI开发提供了宝贵的数据基础。
-
新的RLHF框架使音频字幕与人类偏好保持一致
研究人员开发了一个新的音频字幕框架，该框架利用人类反馈强化学习（RLHF）来更好地使生成的字幕与人类偏好保持一致。该方法采用在成对偏好数据上训练的奖励模型，允许其在不需要昂贵的真实标注的情况下微调现有的字幕系统。人类评估表明，与传统的监督方法相比，该方法生成的字幕更受青睐，尤其是在基线模型表现不佳的情况下，并且取得了与监督方法相当的性能。