Robust foundation models

对抗性训练使线性 Transformer 具备鲁棒的上下文内学习能力

一篇新的研究论文探讨了对抗性训练在大型语言模型中实现鲁棒的上下文内学习的有效性。研究表明，在广泛任务上经过对抗性预训练的模型，可以通过上下文内学习在新的、未见过任务上实现最佳鲁棒性，而无需进一步进行特定任务的对抗性训练。这与标准训练的模型形成对比，后者无法在新的任务上达到相同的鲁棒性水平。该研究分析了收敛特性、准确性-鲁棒性权衡以及有效上下文内学习所需的演示复杂度。