实体 LS-LoRA

LS-LoRA

PulseAugur coverage of LS-LoRA — every cluster mentioning LS-LoRA across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_289264 · Oct 9 · 04:00

新的LS-LoRA方法通过保留通用能力来改进LLM微调

研究人员开发了一种名为层选择性LoRA（LS-LoRA）的新方法，以改进大型语言模型的参数高效微调（PEFT）。该技术解决了模型适应特定任务时普遍存在的通用能力退化问题。LS-LoRA战略性地将可训练适配器仅放置在对目标任务不太敏感的层中，从而在增强数学推理和代码生成等专业任务性能的同时，保留常识推理能力。