Meta-Learning Transformers

Meta-Learning Transformers Improve In-Context Generalization with Curated Datasets

研究人员提出了一种新的 transformer 模型训练策略，该策略利用多个小型、特定领域的 数据集，而不是单个大型数据集。这种方法旨在提高上下文泛化能力，同时缓解与数据存储、质量控制、隐私和伦理相关的问题。在 Meta-Album 集合上使用元学习进行的实验表明，这种精选数据集方法可以增强超出训练域的泛化能力，并在模块化和可替换性方面提供优势。