gpart

新的GPart方法提供高效的LLM微调

研究人员推出了一种新颖的参数高效微调方法GPart，该方法绕过了LoRA固有的低秩瓶颈。GPart利用单个等距划分矩阵将低维可训练向量直接映射到模型的完整权重空间，从而实现具有最少超参数和存储需求的、高度高效的流程。该方法旨在通过消除结构约束来提高各种任务的性能，提供一种更简单、更有效的微调策略。此外，另一篇论文提出了一个用于多维环境中可证明的数据驱动超参数调优的新框架，利用实代数几何工具来加强泛化保证。