研究人员发现了一种“罗塞塔神经元”，它们似乎在不同的神经网络架构中普遍存在。这些神经元表现出亚线性幂律缩放关系，意味着更大的模型包含更多的罗塞塔神经元，但它们占总神经元的比例却更小。研究发现，随着模型规模的扩大，这些罗塞塔神经元变得更具选择性和专业化，并且可以有效地用于预训练数据过滤，取得与Oracle数据过滤相当的结果。 AI
影响 识别出一种新的神经元类别，有望改进数据过滤和模型专业化。
排序理由 该集群报告了一篇关于AI模型中神经元群体新发现的科学论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
