PulseAugur
中
实时 16:58:57
English(EN) MixedPEFT: Combining Multiple PEFT Methods with Mixed Objectives for Unsupervised Domain Adaptation

MixedPEFT结合多种PEFT方法实现无监督域自适应

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了MixedPEFT，一种用于语言模型无监督域自适应的新型参数高效方法。该方法结合了多种参数高效微调（PEFT）技术，包括可逆适配器和LoRA，以及一种混合目标训练策略。通过同时优化源域数据的分类性能和目标域数据的掩码语言建模，MixedPEFT能有效适应新域并保留目标知识。在MNLI数据集上跨20个域迁移的评估显示，与现有方法相比有显著改进，为参数高效自适应树立了新标杆。 AI

影响 这项研究推动了参数高效微调技术的发展，有望降低将大型语言模型适应专业领域的计算成本和复杂性。

排序理由 该集群包含一篇详细介绍语言模型无监督域自适应新方法的学术论文。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

MixedPEFT结合多种PEFT方法实现无监督域自适应

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Bahriye Akay ·

    MixedPEFT：结合多种PEFT方法和混合目标进行无监督域自适应

    Pre-trained language models struggle when applied to new domains, as full fine-tuning is computationally expensive and prone to catastrophic forgetting. This study addresses this challenge by presenting a novel parameter-efficient strategy for unsupervised domain adaptation that …

相关实体

相关话题