实体
parameter-efficient fine-tuning (PEFT)
parameter-efficient fine-tuning (PEFT)
PulseAugur coverage of parameter-efficient fine-tuning (PEFT) — every cluster mentioning parameter-efficient fine-tuning (PEFT) across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
RotMoLE框架通过旋转门控增强LLM低秩专家
研究人员推出RotMoLE，一种新颖的专家混合（MoE）框架，旨在增强大型语言模型（LLM）中低秩专家的能力。该框架基于MoE-LoRA，并引入了一个旋转门控机制，该机制超越了简单的标量重加权，实现了更优的专家利用和专业化。RotMoLE在复杂的多任务和多语言训练场景中已证明了其有效性。
-
LOFT框架通过任务感知支持选择增强参数高效微调
研究人员推出了一种新颖的低秩正交参数高效微调（PEFT）框架LOFT。该方法明确地将适应子空间与其中应用的变换分离开来，提供了一种包含现有正交PEFT技术的统一方法。LOFT的关键创新在于其由下游训练信号驱动的任务感知支持选择策略，从而提高了效率-性能权衡。