mass-mean probing

研究表明神经网络语言模型在其内部表示中编码语法性

一篇新的研究论文探讨了神经网络语言模型（NLMs）是否能通过检查其内部表示来区分语法正确和不语法正确的句子，而不仅仅是概率分配。研究使用了一种称为质量均值探测（mass-mean probing）的技术，发现语法性在各种预训练NLMs的表示中被一致地编码。这种编码似乎在不同的语法现象中都很稳健，甚至在一定程度上可以泛化到不同语言，这表明语法性是这些模型中的一个独立维度。