Soft Dominance Layer

新型软支配层探索逐坐标神经网络计算

研究人员引入了一种新颖的软支配层，作为神经网络中传统仿射变换的替代方案。该层使每个输出单元能够将输入坐标与可学习的参考向量进行比较，并聚合平滑的不等式响应。虽然初步的 MNIST 实验显示软支配层的准确率高达 0.9173（通过退火），但仍低于标准多层感知机基线实现的 0.9827。该研究表明，学习到的参考向量显示出空间结构，预示着结构化学习的潜力，但需要对更广泛的数据集和多个种子进行进一步实验，以确认其鲁棒性和实际效用。