PulseAugur
中
实时 14:35:01
English(EN) Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters

张量适配器提供比 LoRA 更精细的 PEFT 预算控制

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员探索了使用张量化适配器，特别是标准多面体 (CP) 张量适配器，作为参数高效微调 (PEFT) 中传统低秩适配器 (LoRA) 的替代方案。通过使用更精细的容量增量，CP 适配器与 LoRA 秩相比，每个组件存储的可训练标量更少，从而能够更精细地控制参数预算。虽然 CP 适配器训练稳定，并且可以填补 LoRA 秩之间的空白，但其有效性因任务而异，一些任务显示出早期平台期，而另一些任务在饱和之前则受益于额外的组件。 AI

影响 提供一种更精细的模型微调方法，有可能在较低的参数预算下实现更好的性能。

排序理由 这是一篇详细介绍参数高效微调新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Xinjue Wang, Xiuheng Wang, Yejun Zhang, Sergiy A. Vorobyov, Esa Ollila, Zhi-Yong Wang ·

    Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters

    arXiv:2606.00428v1 Announce Type: cross Abstract: Low-rank adapters are usually compared by sweeping a small set of ranks, but the rank also fixes the resolution of the parameter budget. For a $2048{\times}2048$ OPT attention projection, increasing LoRA by one rank stores $4096$ …

相关实体

相关话题