Nguyen Do Hoang Khoi

新理论解释 Transformer 中的表征动态

研究人员开发了一种名为“各向异性表征动态的混合门控理论”的新理论，以解释 Transformer 模型中的内部表征如何在通过层时发生变化。该理论将自注意力分解为值传输、查询门控和键门控，揭示了表征几何和门控机制如何相互作用以影响信息保留和模型对扰动的敏感性。研究结果提供了一个谱判据来预测和表征这些动态，并在各种 Transformer 架构中得到了验证。