Part-of-speech categories

后继表征揭示语言模型中涌现的词类结构

研究人员将强化学习中的一个原理——后继表征（SRs）——应用于自然语言处理。通过在WikiText-103上训练一个神经网络来预测不同时间跨度下的未来词语分布，他们观察到了结构化语言表征的自发涌现。这些表征表现出与词性类别相关的清晰几何组织，名词、动词和形容词可以通过无监督聚类进行分离。该研究表明，句法类别可能是预测性序列学习的自然结果，从而连接了强化学习、语言学和认知神经科学的概念。