JIVEAdapter

新的JIVEAdapter方法提高了LLM微调效率

研究人员开发了JIVEAdapter，一种用于大型语言模型参数高效微调的新颖方法。与现有的单任务适配器不同，JIVEAdapter将权重更新分解为共享的“联合”结构和任务特定的“个体”结构。这种方法旨在更好地分离共享知识与任务特定的适应性，从而提高可解释性和效率。该方法在使用DeBERTaV3-base模型在GLUE和SuperGLUE基准测试中表现出有竞争力的性能。