PulseAugur
中
实时 12:17:18
实体 Adaptive-LoRA

Adaptive-LoRA

PulseAugur coverage of Adaptive-LoRA — every cluster mentioning Adaptive-LoRA across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_324830 ·

    自适应LoRA方法通过选择特定任务层来优化LLM微调

    研究人员开发了Adaptive-LoRA,一种新颖的大型语言模型微调方法,该方法识别并仅利用对特定任务最关键的层。通过机制可解释性分析,他们观察到标准的LoRA在模型层之间不均匀地应用适应性,并且具有任务依赖的重要性。Adaptive-LoRA利用这一见解,自动选择特定任务层,显著减少了所需的适配器参数数量。在Qwen2.5-1.5B模型上的实验表明,Adaptive-LoRA仅使用30%的层就优于全层LoRA,在保持或提高推理任务性…