Loopy Belief Propagation

新理论将Transformer重新解读为概率推理模型

研究人员提出了一种对Transformer网络的新解释，将其视为一种混合概率推理过程的学习近似。该过程结合了max-product Loopy Belief Propagation (LBP) 和期望最大化 (EM)。在此框架下，Transformer对部分观测到的马尔可夫随机场 (MRFs) 执行推理，其中结构和参数是从数据中学习的。该论文引入了“元模型”作为一种设计范式，其中输入生成实例特定的参数，统一了自注意力、专家混合和门控单元等机制。