LoRA-Diffusion

新的LoRA-Diffusion方法实现了扩散语言模型的参数高效微调

研究人员推出了一种新颖的参数高效微调方法LoRA-Diffusion，该方法专为基于扩散的语言模型设计。与修改模型权重的现有方法不同，LoRA-Diffusion将低秩分解应用于去噪轨迹，学习整个扩散路径上的扰动。这种方法允许以更少的存储需求进行任务特定定制，并在SST-2、QNLI和MRPC等基准测试中表现出色，为适应扩散语言模型建立了一个新框架。