Contrastive decoding
PulseAugur coverage of Contrastive decoding — every cluster mentioning Contrastive decoding across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新方法通过编码器选择和对比解码增强大型音频语言模型 · 跟踪 2 个来源
研究人员开发了两种新方法来提高大型音频语言模型 (LALM) 的性能。第一种方法 CUES（相关性引导编码器选择）使用轻量级启发式方法，通过估计编码器的互补性（通过性能相关性）来选择最佳编码器，在 XARES-LLM 等基准测试中取得了显著的提升。第二种方法对比解码 (CD) 系统地评估了不同的 CD 策略，确定了音频感知解码和音频对比解码最为有效。该方法主要纠正与音频忽略或不确定性驱动的猜测相关的错误，其收益与模型的基线错误特征密切相关。
-
新基准 Tri-PvP 揭示全模态大语言模型的模态偏见
研究人员开发了 Tri-PvP，这是一个旨在暴露全模态大语言模型 (OLLM) 模态偏见的新基准。该基准通过将感知信号（如图像或音频记录）与命题信号（陈述性语句）分开，解决了先前评估中的局限性，从而更清晰地了解 OLLM 如何处理跨视觉、音频和文本的冲突信息。对五个 OLLM 的初步评估显示出显著的视觉偏见以及一种系统性不对称，即模型在视觉上偏好感知证据，而在音频上偏好命题证据。进一步分析表明，这种偏见在模型早期层即可检测到，并且难以完全缓解。
-
新的 CopyShield 基准测试评估 LLM 版权防御能力
一项名为 CopyShield 的新基准测试已被开发出来，用于评估大型语言模型 (LLM) 中的版权防御机制。该基准测试比较了三个不同的防御级别：输出层的对比解码、行为层面的直接偏好优化 (DPO) 以及表示层面的激活干预。在 Llama-3.1-8B 和 Mistral-7B-v0.3 模型上进行测试，CopyShield 揭示了合规性与实用性之间的权衡，其中激活干预在针对性非字面抑制方面显示出潜力。
-
新方法提升基于LLM的视听语音识别
研究人员开发了一种名为注意力引导可靠性缩放（AGRS）的新方法，以改进使用大型语言模型的视听语音识别（AVSR）系统。该技术通过根据注意力信号和预测发散动态调整对比强度来适应对比解码，后者对比了仅音频和视听条件。在LRS3数据集上的实验表明，AGRS在干净和嘈杂的音频条件下都能提高性能。
-
解耦对比解码加速语言模型生成
研究人员引入了解耦对比解码（DCD）方法，以提高语言模型中对比解码的效率。DCD将起草和验证阶段分开，使用专家对齐模型进行起草，并将对比信号仅应用于验证阶段。该方法旨在缓解对比纠正弱于起草错误的问题。使用EAGLE3模型的实验表明，DCD在Massive Multitask Language Understanding（MMLU）等任务中实现了显著的加速并降低了延迟。
-
新框架通过减少弱模型中的噪声来增强 LLM 训练
研究人员开发了一个名为对比弱到强泛化（ConG）的新框架，以改进大型语言模型的训练。ConG 解决了现有弱到强泛化方法中的局限性，这些方法可能受到弱模型中噪声和偏差的阻碍。通过利用隐式奖励和对比解码，ConG 生成了更高质量的样本，从而实现了更可靠的能力转移和更强的鲁棒性。这种方法在各种模型家族中都显示出了一致的改进，为推进 LLM 训练提供了一条有前途的途径。
-
新方法通过自适应变换提高音频语言模型的准确性
研究人员开发了一种名为自适应扰动选择（APS）的新方法，以提高大型音频语言模型（LALMs）的准确性。现有的对比解码技术通常使用掩码或噪声等粗略方法，但APS探索了更广泛的音频变换范围。通过测试各种时间域、频谱域、频率域和幅度域的扰动，研究发现最优变换是任务特定的。例如，音频反转将时间顺序准确性从74.7%提高到81.4%。一个在模型状态上训练的轻量级选择器通过动态路由负分支进一步提高了性能，在存在任务上额外增加了4.3%的增益。