Kaiming initialization
PulseAugur coverage of Kaiming initialization — every cluster mentioning Kaiming initialization across labs, papers, and developer communities, ranked by signal.
-
新的LINet架构可在RGB-D场景分类中实现连续跨模态学习
研究人员推出了一种新颖的多流神经网络（MSNN），名为LINet，用于RGB-D场景分类。与现有离散融合特征的架构不同，LINet在每一层都采用连续集成方法，使用线性集成卷积（LIConv2d）算子。该方法通过特定的常数初始化解决了初始化问题，并使用渐进式模态丢弃来防止训练过程中的通路崩溃。在SUN RGB-D上训练时，LINet在ResNet18规模下达到了45.2%的平均类别准确率，使用ScanNet预训练后提高到49.6%。
-
新的“Pre-Warm”方法提高了CNN初始化精度
研究人员开发了一种名为Pre-Warm的新方法来初始化卷积神经网络。该技术使用单个训练批次的数据来条件化第一个卷积层的初始化，采用了MiniBatchKMeans聚类和逆曼哈顿空间加权。Pre-Warm在包括MNIST、Fashion-MNIST、CIFAR-10、SVHN和CIFAR-100在内的多个标准基准测试中，均显示出统计学上显著的精度提升，且开销可忽略不计，无需进行任何架构更改。
-
新的Kabin方法增强了用于不完整张量数据的神经Tucker分解
研究人员开发了一种名为Kabin（Kaiming初始化和偏差校正）的新方法，以提高高维不完整张量补全的神经Tucker分解的准确性。该技术解决了参数初始化和输出映射偏差问题，这些问题会阻碍传统线性重建框架的性能。在真实数据集上的实验表明，Kabin与原始NeuTucF模型相比，在计算成本增加极少的情况下提供了卓越的性能。
-
Hyperspace AGI项目的“发现”是一种十年前的深度学习技术
一个名为Hyperspace的项目声称是第一个分布式AGI系统，利用660个代理进行了27000次实验。然而，它最显著的发现，也是它用来证明其系统有效性的证据，是Kaiming初始化方法。该方法自2015年以来一直是深度学习库的标准，并且是在十一年前发布的。虽然底层的基础设施，包括梯度压缩和点对点网络，在技术上令人印象深刻，但该项目被描述为一个具有强大品牌推广的并行随机搜索引擎，而非真正的AGI。