causal-world benchmark

新研究揭示 Transformer 语言模型因果知识组织的解耦现象

研究人员发现 Transformer 语言模型在组织因果知识方面存在功能解耦。他们发现，虽然模型回答干预性问题的能力取决于所需的证据类型，但用于组织此知识的内部结构（按类型分槽）主要用于路由信息，并且与生成最终答案的过程在很大程度上是分离的。这一发现是使用不同规模的因果世界基准上的“类型化机制库”建立的，证明了这种结构组织是由特定的监督信号诱导的，并且在计算上是高效的。