MixedPEFT

MixedPEFT结合多种PEFT方法实现无监督域自适应

研究人员开发了MixedPEFT，一种用于语言模型无监督域自适应的新型参数高效方法。该方法结合了多种参数高效微调（PEFT）技术，包括可逆适配器和LoRA，以及一种混合目标训练策略。通过同时优化源域数据的分类性能和目标域数据的掩码语言建模，MixedPEFT能有效适应新域并保留目标知识。在MNLI数据集上跨20个域迁移的评估显示，与现有方法相比有显著改进，为参数高效自适应树立了新标杆。