TreeLoRA为大型模型提供高效的持续学习

研究人员推出TreeLoRA，一种用于大型预训练模型高效持续学习的新方法。该方法利用由分层梯度相似性树组织的层级低秩适配器（LoRA），在适应新任务的同时保留现有知识。为了管理计算需求，TreeLoRA采用基于老虎机（bandit）的技术进行任务相似性估计和稀疏梯度更新，使其适用于计算机视觉和自然语言处理等领域的大型模型。 AI

影响 该方法可以使大型预训练模型在没有显著计算开销的情况下更有效地适应新数据流。

排序理由 该集群描述了一篇详细介绍机器学习模型持续学习新方法的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• Bandit techniques
• Hierarchical Gradient-Similarity Tree
• large language models
• large pre-trained models
• Low-Rank Adapters
• TreeLoRA
• Vision Transformers
• Yu-Yang Qian

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →