Initao

新 initAA 技术增强 LoRA 在 LLM 微调中的稳定性

一篇新研究论文提出了一种名为 initAA 的初始化技术，以提高大型语言模型中低秩适配（LoRA）的稳定性和性能。LoRA 以其对学习率选择的敏感性而闻名，虽然 LoRA+ 引入了不对称学习率，但这可能导致训练不稳定。提出的 initAA 方法通过缩放降维矩阵 A 的方差来解决这个问题，这显著拓宽了稳定的学习率区域，并防止了标准初始化中观察到的性能崩溃。