Linear-Attention Transformers

Transformer 执行因果结构学习算法

研究人员开发了一种利用线性注意力 Transformer 进行因果结构学习的新方法。该方法涉及构建一个固定权重的 Transformer，精确复制标准连续因果发现算法的一个更新步骤。Transformer 在更新之间携带当前的因果图和算法的乘数，这对于精确执行至关重要。实验表明，构建的 Transformer 块准确地匹配了参考更新，并且当应用于合成数据和基准网络拓扑时，它继承了参考求解器的成功和失败，突显了准确执行算法与准确恢复因果之间的区别。