研究人员开发了一种新颖的约束优化框架来训练 Transformer，将其视为优化下降算法。该方法强制执行层级下降约束，并使用对偶-原始训练方案代替标准的经验风险最小化。结果表明，在视频去噪和文本分类实验中，这种“约束 Transformer”在保持分布内任务性能的同时，对扰动的鲁棒性以及分布外泛化能力得到了提高。 AI
影响 这种新的训练方法有望带来更鲁棒、泛化能力更强的 Transformer 模型，从而提高它们在实际应用中的性能。
排序理由 该集群包含一篇详细介绍 Transformer 模型新训练方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
