研究人员推出了一种新颖的预训练 Transformer 模型参数高效微调框架 MetaTT。MetaTT 利用张量训练 (TT) 适配器对 Transformer 子模块进行因子分解，从而实现参数数量加性而非乘性扩展的更紧凑适配器。基准测试表明，MetaTT 在标准语言建模任务上实现了具有竞争力的参数效率和准确性，在多任务学习中与最先进的方法相当。此外，该框架还包含一种受物理学启发的秩自适应优化器，该优化器与 AdamW 集成时可提高优化性能。 AI
影响 提供了一种更具参数效率的大型语言模型微调方法，有望降低计算成本并实现更广泛的适应。
排序理由 该集群包含一篇详细介绍 AI 模型微调新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
