IFCLoRA

IFCLoRA方法通过拓扑感知秩分配增强大语言模型微调

研究人员推出了一种新颖的大语言模型参数高效微调方法IFCLoRA，它改进了现有的LoRA和AdaLoRA等技术。IFCLoRA在微调前采用拓扑感知秩分配策略，利用任务条件交互图来估计模块适应重要性。该方法在各种模型和任务上持续优于先前的方法，例如在LLaMA 3 8B模型上进行数学推理时，秩为8时提升了1.82个百分点，同时保持了与标准LoRA相当的训练成本。