Compressed Active Subspaces

新方法实现可扩展的神经网络贝叶斯推断

研究人员开发了压缩主动子空间（CAS）方法，这是一种使大型模型贝叶斯推断更具可扩展性的新颖方法。传统的主动子空间方法需要大量的模型梯度内存，限制了其在小型模型上的应用。CAS通过首先使用等距嵌入将模型参数映射到压缩空间，然后在该缩减空间内构建主动子空间来解决此问题。这种方法大大降低了内存需求，使得在保持预测性能和不确定性估计的同时，能够对大型神经网络进行贝叶斯推断。