TrustMix

TrustMix 方法增强预训练模型应对分布偏移能力

研究人员推出了一种新颖的后验方法 TrustMix，旨在提高预训练模型在面对分布偏移时的鲁棒性。该技术通过将其预测分布与用户指定的后备分布相结合，使模型的推断行为变得明确且可控。随着与训练数据偏差的增加，TrustMix 会平滑地过渡到该后备分布，从而实现优雅降级，而无需重新训练模型。该方法已在表格、图像和自然语言处理等各种任务中证明了其有效性，在预测不确定性和校准方面有所改进。