实体
TinyLoRA
TinyLoRA
PulseAugur coverage of TinyLoRA — every cluster mentioning TinyLoRA across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
可视化指南详解五种 LLM 微调方法
本文通过可视化方式解释了五种不同的微调大型语言模型 (LLM) 的方法,详细说明了每种技术调整哪些参数以及哪些参数保持不变。它涵盖了全参数微调、LoRA、QLoRA、LoRA-FA 和 TinyLoRA,并说明了这些方法如何利用和管理内存。
-
BoostLoRA方法增长适配器秩以超越全量微调
研究人员推出了一种新颖的参数高效微调方法BoostLoRA,旨在增强模型表现力而不增加推理开销。该技术通过迭代训练和合并小型适配器,并将每个适配器分配到正交子空间,从而随着时间的推移增长有效秩。实验表明,BoostLoRA在Qwen2.5-3B的GSM8K和MATH-500等基准测试中取得了最先进的成果,其表现优于超低参数适配器和全量微调。