研究人员引入了CurvDelta和CurvLoRA,这两种新颖的框架旨在改进大型语言模型(LLM)的适应性。这些方法将LLM更新限制在低曲率空间内,从而在有效适应新任务的同时增强通用能力的保持性。CurvDelta在实际应用中采用了Kronecker-factored approximate curvature (K-FAC)方法,而CurvLoRA提供了一种更高效的低秩变体。在推理、代码生成和知识遗忘任务上的评估表明,与现有方法相比,在能力获取和保持性之间取得了有利的权衡。 AI
影响 这些方法可能导致更高效、更有效的LLM微调,从而提高各种下游任务的性能。
排序理由 该集群包含一篇详细介绍LLM适应新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →