Gaussian initialization
PulseAugur coverage of Gaussian initialization — every cluster mentioning Gaussian initialization across labs, papers, and developer communities, ranked by signal.
-
软提示可使随机 Transformer 近似函数
研究人员证明，在适当的软提示引导下，具有随机、未训练权重的单层 softmax 注意力网络可以近似紧致流形上的任何 Hölder 函数。这一发现表明，对于某些近似任务，预训练可能是可选的。该研究将 softmax 注意力与核方法联系起来，构建了显式的软提示，使冻结的 Transformer 能够模拟经典的 Nadaraya-Watson 核估计器。核回归的理论保证得以继承，从而实现了依赖于内在维度的速率的通用逼近定理，并揭示了提示范数…
-
新研究对单神经元AI模型的傅里叶对齐提出挑战
研究人员提出了一个单神经元模加傅里叶对齐假说的反例。该研究展示了一种情况，其中一个ReLU神经元在初始激活后变得不活跃，并在傅里叶能量均匀分布在频率类别上的极限处冻结。这种现象在Gaussian初始化下以正概率发生，并且可以扩展到Clarke轨迹，这表明在训练单个神经元进行模加时，单频率对齐并非普遍结果。
-
新研究详细介绍了具有随机初始化的相位恢复的 AMP
研究人员分析了具有独立高斯初始化的近似消息传递（AMP）在无噪声相位恢复中的应用。他们的研究结果表明，AMP 需要越来越多的迭代次数才能实现非消失重叠。该研究提供了 AMP 轨迹的高斯分解，控制了其在必要恢复范围内的误差，并证明了随机初始化可以达到 1/2 的弱恢复阈值。对于介于弱恢复和强恢复阈值之间的信号强度，信号强度遵循状态演化，并在特定迭代次数内接近稳定的不动点。
-
新研究揭示了避免量子神经网络中贫瘠高原的指数级方法
一篇新研究论文引入了一个一阶矩框架来分析量子神经网络的初始化策略。该研究表明，存在指数级数量的初始化参数方法可以避免贫瘠高原，这是训练中一个常见的问题。这表明，虽然仔细的初始化可以防止集中问题，但它带来了从众多可能性中选择最佳可训练区域的挑战。
-
高斯初始化下量子电路出生机的可训练性分析
研究人员分析了利用瞬时量子多项式（IQP）电路的量子电路出生机（QCBM）在特定高斯初始化方案下的可训练性。该研究采用Stein引理和Lipschitz集中界来建立梯度方差的解析下界和梯度偏差的概率集中界。这项工作旨在识别导致“贫瘠高原”的条件，并提供策略来避免或促进这些量子机器学习模型中的指数集中。