Contrastive decoding
PulseAugur coverage of Contrastive decoding — every cluster mentioning Contrastive decoding across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
解耦对比解码加速语言模型生成
研究人员引入了解耦对比解码（DCD）方法，以提高语言模型中对比解码的效率。DCD将起草和验证阶段分开，使用专家对齐模型进行起草，并将对比信号仅应用于验证阶段。该方法旨在缓解对比纠正弱于起草错误的问题。使用EAGLE3模型的实验表明，DCD在Massive Multitask Language Understanding（MMLU）等任务中实现了显著的加速并降低了延迟。
-
新框架通过减少弱模型中的噪声来增强 LLM 训练
研究人员开发了一个名为对比弱到强泛化（ConG）的新框架，以改进大型语言模型的训练。ConG 解决了现有弱到强泛化方法中的局限性，这些方法可能受到弱模型中噪声和偏差的阻碍。通过利用隐式奖励和对比解码，ConG 生成了更高质量的样本，从而实现了更可靠的能力转移和更强的鲁棒性。这种方法在各种模型家族中都显示出了一致的改进，为推进 LLM 训练提供了一条有前途的途径。
-
新方法通过自适应变换提高音频语言模型的准确性
研究人员开发了一种名为自适应扰动选择（APS）的新方法，以提高大型音频语言模型（LALMs）的准确性。现有的对比解码技术通常使用掩码或噪声等粗略方法，但APS探索了更广泛的音频变换范围。通过测试各种时间域、频谱域、频率域和幅度域的扰动，研究发现最优变换是任务特定的。例如，音频反转将时间顺序准确性从74.7%提高到81.4%。一个在模型状态上训练的轻量级选择器通过动态路由负分支进一步提高了性能，在存在任务上额外增加了4.3%的增益。