Hydra-nets

新的联邦学习框架为LLM微调适配客户端资源

研究人员推出了一种名为“Optimal Hydra”的新型联邦学习框架，用于在去中心化数据上微调大型语言模型（LLMs）。该方法通过创建针对本地数据分布定制的客户端特定子网络（称为Hydra-nets）来解决客户端资源限制差异的挑战。实验表明，Optimal Hydra在显著提高性能的同时，降低了本地资源需求，标志着LLM异构联邦学习的一项关键进展。