Surface Baking

新型SH-WRNN模型使用球谐函数处理神经网络权重

研究人员介绍了一种新颖的神经网络架构，称为SH-WRNN，它用由球谐函数定义的连续场替换静态权重矩阵。这种方法允许网络在操作过程中动态提取连接权重，可能减少对大型离散参数优化的依赖。SH-WRNN在单个训练周期内展示了在MNIST数据集上的高准确率。此外，还提出了一种“表面烘焙”方案，将连续场转换为静态参数表面以进行推理，从而实现不对称算法加速，并通过绕过GPU内存带宽限制，可能将优势转移到CPU计算上。