AdaLoRA
PulseAugur coverage of AdaLoRA — every cluster mentioning AdaLoRA across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
IFCLoRA方法通过拓扑感知秩分配增强大语言模型微调
研究人员推出了一种新颖的大语言模型参数高效微调方法IFCLoRA，它改进了现有的LoRA和AdaLoRA等技术。IFCLoRA在微调前采用拓扑感知秩分配策略，利用任务条件交互图来估计模块适应重要性。该方法在各种模型和任务上持续优于先前的方法，例如在LLaMA 3 8B模型上进行数学推理时，秩为8时提升了1.82个百分点，同时保持了与标准LoRA相当的训练成本。
-
新研究探索自适应秩分配以实现高效的LLM微调
两篇新研究论文介绍了参数高效微调（PEFT）大型语言模型的先进方法。第一篇论文提出了LAARA框架，该框架根据轻量级Fisher估计动态地为不同的Transformer层分配适配器秩，在GLUE和MathInstruct等基准测试中的参数效率和性能方面优于LoRA和AdaLoRA等现有方法。第二篇论文StatLoRA将秩分配视为一个统计假设检验问题，利用从AdamW等优化器的渐近正态性理论导出的估计p值来确定保留哪些组件。实验表明，S…
-
PEFT方法为大型语言模型提供高效微调
参数高效微调（PEFT）通过仅训练一小部分参数或添加轻量级组件，为适应新的任务提供了大型预训练模型的方法。这种方法与完全微调不同，它显著降低了GPU内存需求和检查点大小，从而能够创建小型、便携、特定任务的适配器。虽然LoRA和提示调优等PEFT方法不能保证与完全微调相同的性能，但它们大大降低了计算需求和存储成本。
-
RSLoRA 提供训练无关的秩分配，实现高效的 LLM 适配
研究人员推出了一种新颖的优化大型语言模型（LLM）低秩适配（LoRA）的方法——RSLoRA。与之前采用统一秩分配或计算密集型训练方法的途径不同，RSLoRA 采用一种无需训练、无需梯度的技术。它通过模拟结构化噪声适配并测量流形位移来分析神经网络层的表征敏感性。这种方法能够识别需要更高秩容量的层，从而在各种基准测试中超越 AdaLoRA 和 GoRA 等现有方法。
-
新的自适应检查点技术可大幅减少视觉模型微调的GPU内存占用
研究人员开发了一种自适应检查点算法，以减少微调视觉模型和视觉语言模型（VLMs）所需的GPU内存。该方法在显存有限的消费级GPU上进行了测试，在可控的能耗开销下，显著降低了峰值内存使用量，最高可达79%。研究还比较了各种参数高效微调（PEFT）技术，发现QLoRA和BitFit在准确性略有下降的情况下能节省大量能源，而DINOv2等自监督模型在某些任务上的表现优于微调模型。
-
新的FoRA方法可大幅减少微调参数并提高准确性
研究人员推出了一种新颖的参数高效微调方法FoRA，该方法通过选择信息层来优先减少可训练参数的数量。该方法使用对角线Fisher分数进行层选择，并在Stiefel流形上训练LoRA降维投影，在半数参数预算下始终优于LoRA和DoRA等现有方法。与AdaLoRA相比，FoRA在参数数量显著减少的情况下也表现出具有竞争力的准确性，并在各种LLaMA系列、Qwen3和Gemma骨干网络上显示出一致的提升。
-
新的CAREF框架在无监督情况下增强了LLM解释的忠实性
研究人员开发了CAREF，一个新颖的参数高效微调框架，旨在提高大型语言模型生成解释的准确性和忠实性。该方法独特地将基于熵的校准与token级稀疏性控制结合到单一损失函数中，无需显式的推理监督。在使用Flan-T5的四个自然语言解释基准的评估中，CAREF-AQ变体在准确性和解释一致性方面表现优越，同时与LoRA等其他方法相比，仅使用了更少比例的可训练参数。