实体
rsLoRA
rsLoRA
PulseAugur coverage of rsLoRA — every cluster mentioning rsLoRA across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
免费 LoRA Trainer Studio 新增对 ERNIE-Image、rsLoRA 和云训练的支持
AcademiaSD 发布了其免费 LoRA Trainer Studio 的更新版本，这是一个用于训练自定义图像生成模型的工具。新版本显著扩展了其兼容性，现在支持包括 ERNIE-Image、Qwen-Image 2.1 和 SDXL 在内的 10 个不同模型家族。主要新功能包括对 rsLoRA、LoRA+ 和 LoKr 训练方法、通过 RunPod 的云训练能力以及用于数据集管理和模型训练的远程浏览器访问。
-
PEFT方法为大型语言模型提供高效微调
参数高效微调（PEFT）通过仅训练一小部分参数或添加轻量级组件，为适应新的任务提供了大型预训练模型的方法。这种方法与完全微调不同，它显著降低了GPU内存需求和检查点大小，从而能够创建小型、便携、特定任务的适配器。虽然LoRA和提示调优等PEFT方法不能保证与完全微调相同的性能，但它们大大降低了计算需求和存储成本。
-
RSLoRA 提供训练无关的秩分配，实现高效的 LLM 适配
研究人员推出了一种新颖的优化大型语言模型（LLM）低秩适配（LoRA）的方法——RSLoRA。与之前采用统一秩分配或计算密集型训练方法的途径不同，RSLoRA 采用一种无需训练、无需梯度的技术。它通过模拟结构化噪声适配并测量流形位移来分析神经网络层的表征敏感性。这种方法能够识别需要更高秩容量的层，从而在各种基准测试中超越 AdaLoRA 和 GoRA 等现有方法。