实体
gpart
gpart
PulseAugur coverage of gpart — every cluster mentioning gpart across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的 PEFT 方法 GPart 和 GDLoRA 旨在匹配全量微调的性能
两篇新的研究论文介绍了用于大型语言模型参数高效微调 (PEFT) 的新颖方法，旨在缩小与全量微调的性能差距。第一篇论文 GPart 提出了一种使用全局参数分区的端到端等距微调方法，该方法将可训练参数直接映射到具有固定几何形状的权重空间。第二篇论文 GDLoRA 将全量权重梯度分解以提取“法向梯度”分量，然后使用该分量直接更新基准权重，以补充标准的 LoRA 优化。这两种方法在各种基准测试中，在显着更低的参数预算下，均展示了与现有 PE…
-
新的GPart方法提供高效的LLM微调
研究人员推出了一种新颖的参数高效微调方法GPart，该方法绕过了LoRA固有的低秩瓶颈。GPart利用单个等距划分矩阵将低维可训练向量直接映射到模型的完整权重空间，从而实现具有最少超参数和存储需求的、高度高效的流程。该方法旨在通过消除结构约束来提高各种任务的性能，提供一种更简单、更有效的微调策略。此外，另一篇论文提出了一个用于多维环境中可证明的数据驱动超参数调优的新框架，利用实代数几何工具来加强泛化保证。