PulseAugur
中
实时 12:12:23
English(EN) PreLort: Prefix-Nested LoRA for Federated Fine-Tuning under Rank Heterogeneity

PreLort方法增强了LLM的联邦微调

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种新颖的联邦微调大型语言模型的方法PreLort，该方法解决了异构硬件带来的挑战。PreLort采用前缀嵌套低秩公式来组织适配器维度，确保低秩维度捕获任务相关信息，而高秩维度提供额外容量。该方法包括分段聚合规则和前缀嵌套训练策略，以鼓励跨不同秩容量的一致学习和信息聚合。实验表明，PreLort在准确性和ROUGE-L分数方面优于现有的异构联邦LoRA方法。 AI

影响 这项研究可能能够实现跨不同硬件环境的大型语言模型更有效和注重隐私的适应。

排序理由 该集群包含一篇详细介绍大型语言模型联邦微调新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Muhammad Waseem, Nurbek Tastan, Andrej Jovanovic, Nicholas D. Lane, Nils Lukas, Karthik Nandakumar, Samuel Horvath ·

    PreLort: Prefix-Nested LoRA for Federated Fine-Tuning under Rank Heterogeneity

    arXiv:2606.15963v1 Announce Type: cross Abstract: Federated fine-tuning of large language models using parameter-efficient methods such as LoRA enables privacy-preserving adaptation of foundation models. Heterogeneous hardware resources introduce challenges, as clients with diffe…

相关实体

相关话题