研究人员开发了一种名为“降维”的新方法,用于探测神经网络(尤其是语言模型)的内部结构和对称性。该技术将代码的固有维度与测量过程本身分离开来,揭示出语言模型测量维度中的很大一部分是由于其组成而非学习到的内容。该研究将此方法应用于V1中的生物神经元和各种语言模型架构,发现“载流子组成”占了很大一部分信号,这表明结构确实在于缩放,或者说数据是如何被观察的。 AI
影响 这项研究提供了一种分析语言模型内部工作原理的新方法,有望促进对AI架构的更好理解和开发。
排序理由 该集群包含一篇详细介绍新研究方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →