rsLoRA

RSLoRA 提供训练无关的秩分配，实现高效的 LLM 适配

研究人员推出了一种新颖的优化大型语言模型（LLM）低秩适配（LoRA）的方法——RSLoRA。与之前采用统一秩分配或计算密集型训练方法的途径不同，RSLoRA 采用一种无需训练、无需梯度的技术。它通过模拟结构化噪声适配并测量流形位移来分析神经网络层的表征敏感性。这种方法能够识别需要更高秩容量的层，从而在各种基准测试中超越 AdaLoRA 和 GoRA 等现有方法。