CP tensor adapters

张量适配器提供比 LoRA 更精细的 PEFT 预算控制

研究人员探索了使用张量化适配器，特别是标准多面体 (CP) 张量适配器，作为参数高效微调 (PEFT) 中传统低秩适配器 (LoRA) 的替代方案。通过使用更精细的容量增量，CP 适配器与 LoRA 秩相比，每个组件存储的可训练标量更少，从而能够更精细地控制参数预算。虽然 CP 适配器训练稳定，并且可以填补 LoRA 秩之间的空白，但其有效性因任务而异，一些任务显示出早期平台期，而另一些任务在饱和之前则受益于额外的组件。