研究人员推出了一种新颖的参数高效微调方法，用于大型语言模型，名为CORA（相干正交旋转适应）。CORA利用奇异值分解（SVD）来保留预训练权值内的几何关系，对每个切片的左奇异基和右奇异基应用共享的正交旋转。与LoRA等方法相比，该方法显著减少了可训练参数，在相同秩下使用的参数量约减少4倍。实验表明，CORA在常识推理和代码生成任务中优于现有方法，同时保持了参数数量的大幅减少。 AI
影响 降低了微调大型语言模型的计算成本和参数需求，可能加速其采用和实验。
排序理由 一篇介绍参数高效微调新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
