Țopa

新的ToPA方法使用块状Toeplitz矩阵进行高效模型微调

研究人员推出了一种新颖的参数高效微调（PEFT）方法ToPA，该方法利用块状Toeplitz矩阵。该方法旨在通过提供更具表达力和更稳定的参数化，同时不施加显式的秩或稀疏性约束，来克服现有PEFT技术的局限性，例如低秩和基于稀疏的方法。在21个NLP和CV数据集上的理论分析和经验评估证明了ToPA的有效性及其相比当前方法的更强表达力。