Q/K--V Asymmetry

Transformer研究深入探讨安全漏洞、训练动态和上下文学习的局限性

研究人员发现了用于在推理过程中保护Transformer模型的混洗防御机制中的漏洞，并演示了一种通过对齐置换激活来提取模型权重的攻击。另一项研究深入探讨了Transformer训练的光谱动态，揭示了编码学习过程不同方面的瞬态压缩波和持久光谱梯度。此外，对上下文学习的调查表明，先前的示例会干扰模型适应新任务的能力，训练课程显著影响弹性，并且泛化能力取决于预训练任务是从子空间并集还是单个高斯分布中提取的。