LoRA-Ensemble

EulerLoRA 通过随机性增强参数高效微调

研究人员开发了 EulerLoRA，这是参数高效微调的低秩适配 (LoRA) 技术的一种新颖扩展。与标准 LoRA 不同，EulerLoRA 引入随机性，通过对共享低秩适配器内的变异进行采样来生成多个预测轨迹。这种方法允许进行预测不确定性估计，并且在视觉 Transformer 任务上已证明与 LoRA-Ensemble 基线相比具有相当或更优的性能，同时显著减少了可训练参数的数量。