PreLort

PreLort方法增强了LLM的联邦微调

研究人员推出了一种新颖的联邦微调大型语言模型的方法PreLort，该方法解决了异构硬件带来的挑战。PreLort采用前缀嵌套低秩公式来组织适配器维度，确保低秩维度捕获任务相关信息，而高秩维度提供额外容量。该方法包括分段聚合规则和前缀嵌套训练策略，以鼓励跨不同秩容量的一致学习和信息聚合。实验表明，PreLort在准确性和ROUGE-L分数方面优于现有的异构联邦LoRA方法。