kernel regression
PulseAugur coverage of kernel regression — every cluster mentioning kernel regression across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
软提示可使随机 Transformer 近似函数
研究人员证明，在适当的软提示引导下，具有随机、未训练权重的单层 softmax 注意力网络可以近似紧致流形上的任何 Hölder 函数。这一发现表明，对于某些近似任务，预训练可能是可选的。该研究将 softmax 注意力与核方法联系起来，构建了显式的软提示，使冻结的 Transformer 能够模拟经典的 Nadaraya-Watson 核估计器。核回归的理论保证得以继承，从而实现了依赖于内在维度的速率的通用逼近定理，并揭示了提示范数…
-
新研究揭示神经网络学习动力学的关键差异
研究人员在宽神经网络中发现了单层学习与分层学习之间的统计学差异，挑战了现有的理论框架。他们在一项关于无限宽度极限下的三层网络的研究所证明，与保持不变相比，训练输入到隐藏层的权重可导致更低的泛化误差。这表明，当权重固定时出现的参数空间奇点，在允许权重在训练过程中移动时，即使在大型网络中，也显得不那么关键。
-
新的核回归方法增强了对异常值的鲁棒性
研究人员开发了一个新颖的局部多项式回归框架，通过将预测变量和响应变量都纳入加权机制来增强鲁棒性。该新方法利用条件密度核来估计权重，通过局部密度估计有效地减轻了异常值的影响。该方法已在Python中实现并公开可用，其经验偏差低于迭代鲁棒LOWESS，并且与标准LOWESS相比仍具有竞争力，为鲁棒回归应用提供了有前景的扩展。
-
New analytic method characterizes kernel regression generalization error
研究人员开发了一种新的解析函数参数，用于严格表征核梯度下降和其他谱算法的泛化误差曲线。该方法在各种条件下，包括源条件、噪声水平和正则化参数，全面理解泛化误差。研究结果通过利用神经切线核理论的见解，显著改进了对宽神经网络泛化行为的理解。
-
新的核回归界可处理非高斯噪声
研究人员开发了核回归的新非渐近概率统一误差界。这些界旨在提供更可靠的不确定性量化，尤其适用于安全关键型应用。与先前仅限于亚高斯噪声的方法不同，这种新方法可以处理更广泛的噪声分布，包括亚指数和有界矩噪声，并且适用于相关和不相关噪声。
-
新框架修正在线学习系统中的目标偏移
研究人员开发了一个新的框架，用于分析和改进在遇到分布偏移的在线学习系统。他们的工作聚焦于核回归，揭示了在线学习能有效利用偏移和不准确的目标输出。通过引入一种目标修正方法，他们证明了基于核的在线学习即使在图像分类任务的持续学习场景中，也能达到与离线学习相同的性能，甚至优于标准的在线方法。
-
研究人员探索复值再生核希尔伯特空间中的复杂SGD和方向性偏差
研究人员提出了一种新颖的随机梯度下降（SGD）变体，专为复值神经网络设计。这种新方法称为复杂SGD，即使没有解析度约束也能提供收敛保证，这与实值领域中的进展相呼应。该研究还表明，在实值核回归问题中观察到的方向性偏差特性已扩展到复数域。实证结果展示了复杂SGD在复值再生核希尔伯特空间内的核回归任务中的有效性，能够恢复超振荡函数和Blaschke乘积等特定函数。