研究人员在ReLU网络中发现了一种控制特征专业化的新机制。通过操纵一个正齐次缩放Gauge，即使初始函数保持不变，也可以实现不同的特征轨迹和专业化时间。该Gauge分配确定性地选择一个特定神经元来拥有特征，同时使其他神经元变得冗余，这种现象归因于特征系数和方向变化的不同迁移率。 AI
影响 引入了一种控制神经网络中特征分配的新方法，有望实现更高效、更专业的模型。
排序理由 该集群包含一篇详细介绍神经网络架构新发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
