PulseAugur
中
实时 06:25:45
English(EN) Neuron Populations Exhibit Divergent Selectivity with Scale

Rosetta 神经元随规模展现出极化和专业化

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员在神经网络中发现了一种“神经元极化效应”，其中被称为 Rosetta 神经元的特定神经元群体，随着模型的规模扩大，变得更具选择性和专业化。这种现象在参数高达 300 亿的语言模型和参数高达 50 亿的视觉模型中都有观察到。研究表明，虽然这些神经元的绝对数量随着模型大小的增加而增加，但它们的比例却在减少，并且它们变得越来越单义，与选择性较低的群体区分开来。 AI

影响 揭示了可解释神经元结构的缩放定律，暗示了模型可解释性随规模的预测性演变。

排序理由 该集群包含一篇详细介绍神经网络行为新研究发现的学术论文。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Amil Dravid, Yasaman Bahri, Alexei A. Efros, Yossi Gandelsman ·

    Neuron Populations Exhibit Divergent Selectivity with Scale

    arXiv:2606.03990v1 Announce Type: cross Abstract: We investigate whether neuron populations within neural networks evolve predictably with scale, extending scaling laws beyond macroscopic observables such as loss. To probe this question, we study Rosetta Neurons, a previously cha…

  2. arXiv cs.CL TIER_1 English(EN) · Yossi Gandelsman ·

    神经元群体随规模表现出不同的选择性

    We investigate whether neuron populations within neural networks evolve predictably with scale, extending scaling laws beyond macroscopic observables such as loss. To probe this question, we study Rosetta Neurons, a previously characterized class of neurons whose activation patte…

相关话题