Bayes-Consistent Tempering

新的贝叶斯一致退火方法增强了流语言模型

研究人员推出了一种新颖的贝叶斯一致退火（BCT）方法，通过将温度缩放明确纳入生成过程来提高流语言模型的性能。传统的温度缩放是在事后应用的，这会导致流语言模型出现不匹配，因为去噪器是在原始状态下训练的，而退火后的后验权重与未退火的动力学相结合。BCT 通过在退火后的中间状态下训练去噪器，并使用相应的退火动力学调整端点分布来解决这个问题。该方法在 GSM8K 和 Sudoku 等基准测试中显示出实证性能的提升，与不经训练的变体相比，尤其是…