Greenberg's Universal 20

新研究发现语言模型（LMs）表现出一些类人语言学习偏见

一项新的研究论文探讨了通过在类型学上未被证实的语言上进行训练，语言模型（LMs）是否能为人类语言学习提供见解。该研究聚焦于12种语言，并使用了GPT-2 small，发现虽然该模型在很大程度上能够区分已证实和不可能的语言，但并未实现完美分离。此外，GPT-2 small在泛化测试中的表现表明存在一些类人的归纳偏见，尽管这些偏见不如人类学习者明显。