Ortho-Hydra

Ortho-Hydra 论文提出改进扩散 Transformer LoRA 微调的新方法

研究人员提出了 Ortho-Hydra，一种新颖的重新参数化技术，旨在改进扩散 Transformer (DiT) 在多风格数据上的 LoRA 微调。该方法解决了“风格泄露”问题，即单个低秩残差难以表示多样化的艺术风格，导致输出平均化。Ortho-Hydra 通过结合正交共享基和每个专家分离的输出子空间来实现这一点，从而在初始训练阶段就能实现专业化。