研究人员开发了一种名为Pre-Warm的新方法来初始化卷积神经网络。该技术使用单个训练批次的数据来条件化第一个卷积层的初始化，采用了MiniBatchKMeans聚类和逆曼哈顿空间加权。Pre-Warm在包括MNIST、Fashion-MNIST、CIFAR-10、SVHN和CIFAR-100在内的多个标准基准测试中，均显示出统计学上显著的精度提升，且开销可忽略不计，无需进行任何架构更改。 AI
影响 该方法提供了一种简单、零训练成本的方法，可用于增强卷积神经网络的优化轨迹和精度。
排序理由 该集群描述了一种在学术论文中提出的用于改进神经网络初始化新方法。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.25256v1 Announce Type: cross Abstract: We introduce Pre-Warm, a simple yet effective zero-training-cost method for data-conditioned initialization of the first convolutional layer. Before the first forward pass, Pre-Warm extracts mean-centered local patches from a sing…
We introduce Pre-Warm, a simple yet effective zero-training-cost method for data-conditioned initialization of the first convolutional layer. Before the first forward pass, Pre-Warm extracts mean-centered local patches from a single training batch, clusters them with MiniBatchKMe…