Audio LLMs
PulseAugur coverage of Audio LLMs — every cluster mentioning Audio LLMs across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Audio-LLMs 增强语音翻译数据过滤
研究人员开发了一种新颖的方法，利用音频大型语言模型 (Audio-LLMs) 来过滤嘈杂的语音到语音翻译 (S2ST) 训练数据。该方法采用两阶段的 Rank-to-Distill 策略，其中初始排序器生成用于保留或丢弃语音对的伪标签，然后训练一个 Audio-LLM 直接从音频中做出这些决策。该模型能有效捕捉声学保真度和跨语言语义一致性，从而在 S2ST 性能上取得显著改进，在基准数据集上 ASR-BLEU 的提升高达 +1.4。
-
新基准揭示音频LLM在副语言理解方面存在困难
研究人员开发了VoxParadox，一个旨在测试音频大型语言模型（Audio LLM）副语言理解能力的新基准。该基准包含2000个合成示例，故意将语音内容与说话风格进行不匹配，以评估这些模型在辨别语气和情感等细微差别方面的能力。评估显示，当前的音频LLM常常优先考虑文本信息而非声学线索，导致在理解副语言方面出现重大失误。为解决此问题，研究团队提出了提示条件层混合器（PCLM）和直接偏好优化（DPO），这些方法显著提高了在副语言任务上的性能。
-
新的音频标记器增强了AI对声音的理解和生成能力
研究人员开发了几种创建更有效的音频标记器的新方法，这对于统一AI模型中的音频理解和生成任务至关重要。UniAudio-Token 旨在通过使用语义声学原语和语义声学平衡机制来增强语义标记器的一般音频感知能力。HoliTok 提供了一种连续的整体标记化方法，它平衡了信号保真度、语义信息和潜在可学习性，以实现统一的语音建模。LoSATok 和 DSA-Tokenizer 专注于创建低维、解耦的语义和声学标记，以提高跨各种领域的音频生成和理…
-
DPO改进音频大语言模型中的代码转换语音识别
研究人员开发了一种新的方法，使用直接偏好优化（DPO）来改进音频大语言模型处理英语和普通话之间代码转换语音的能力。模型经常因遗漏语言、翻译而非转录或虚构内容而失败。通过在100,000个偏好对上进行训练，模型学会了保留混合语言内容，显著减少了转录错误。
-
新型攻击通过潜在空间操纵绕过音频LLM防御
研究人员开发了一种名为CodecAttack的新型对抗性攻击，该攻击可以绕过音频大型语言模型（LLM）中的压缩防御。与先前直接扰动音频波形的方法不同，CodecAttack在神经音频编解码器的潜在空间中优化扰动。该技术被证明非常有效，在Opus压缩上实现了平均85.5%的攻击成功率，并证明了其对MP3和AAC-LC等其他编解码器的可迁移性。