Dravid et al., 2023

Rosetta 神经元随规模展现出极化和专业化

研究人员在神经网络中发现了一种“神经元极化效应”，其中被称为 Rosetta 神经元的特定神经元群体，随着模型的规模扩大，变得更具选择性和专业化。这种现象在参数高达 300 亿的语言模型和参数高达 50 亿的视觉模型中都有观察到。研究表明，虽然这些神经元的绝对数量随着模型大小的增加而增加，但它们的比例却在减少，并且它们变得越来越单义，与选择性较低的群体区分开来。