实体
AdaLoRA
AdaLoRA
PulseAugur coverage of AdaLoRA — every cluster mentioning AdaLoRA across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的FoRA方法可大幅减少微调参数并提高准确性
研究人员推出了一种新颖的参数高效微调方法FoRA，该方法通过选择信息层来优先减少可训练参数的数量。该方法使用对角线Fisher分数进行层选择，并在Stiefel流形上训练LoRA降维投影，在半数参数预算下始终优于LoRA和DoRA等现有方法。与AdaLoRA相比，FoRA在参数数量显著减少的情况下也表现出具有竞争力的准确性，并在各种LLaMA系列、Qwen3和Gemma骨干网络上显示出一致的提升。
-
新的CAREF框架在无监督情况下增强了LLM解释的忠实性
研究人员开发了CAREF，一个新颖的参数高效微调框架，旨在提高大型语言模型生成解释的准确性和忠实性。该方法独特地将基于熵的校准与token级稀疏性控制结合到单一损失函数中，无需显式的推理监督。在使用Flan-T5的四个自然语言解释基准的评估中，CAREF-AQ变体在准确性和解释一致性方面表现优越，同时与LoRA等其他方法相比，仅使用了更少比例的可训练参数。