EulerLoRA 通过随机性增强参数高效微调

研究人员开发了 EulerLoRA，这是参数高效微调的低秩适配 (LoRA) 技术的一种新颖扩展。与标准 LoRA 不同，EulerLoRA 引入随机性，通过对共享低秩适配器内的变异进行采样来生成多个预测轨迹。这种方法允许进行预测不确定性估计，并且在视觉 Transformer 任务上已证明与 LoRA-Ensemble 基线相比具有相当或更优的性能，同时显著减少了可训练参数的数量。 AI

影响 引入了一种更有效、更校准的大模型微调新方法，有望降低计算成本并改善不确定性估计。

排序理由 该项目是一篇学术论文，详细介绍了一种微调机器学习模型的新方法。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• CIFAR-10
• CIFAR-100
• EulerLoRA
• HAM10000
• Hugging Face
• LoRA
• LoRA-Ensemble
• The Street View House Numbers Dataset

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →