Aristotelian Manifolds

新框架在无反向传播的情况下绘制基础模型潜在空间

研究人员引入了基于柏拉图表征假说的 Aristotelian Manifolds 新框架，以分析和理解基础模型的内部工作机制。该框架将大型模型视为感知过滤器，并绘制知识在其潜在空间中的合成方式。研究表明，这些模型中的语义发展并非线性的，而是因数据域而异，有些在中间阶段达到峰值效率。通过识别这些最佳表征效率点，该研究提供了一种无需反向传播即可选择层和压缩特征的方法，从而为基础模型的潜在空间提供了一种更具可解释性的方法。