kernel method
PulseAugur coverage of kernel method — every cluster mentioning kernel method across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
两篇arXiv论文推进算子学习的核方法 · 跟踪2个来源
两篇新的arXiv论文探讨了核方法在机器学习领域的进展，重点关注具有多个输入和输出的算子学习。第一篇论文介绍了一个通用的基于核的编码器-解码器框架，该框架可以处理多输入、多输出的算子学习，与深度学习模型相比，在准确性和成本方面均表现出竞争力。第二篇论文提出了一种核学习的变分分析，其中包含一个可学习的线性变换，以提高效率并检测数据中的尺度参数和特征变量，特别适用于多尺度和多索引模型。
-
新的核方法精炼了预言家不等式分析
研究人员开发了一种新颖的核方法来分析精炼的预言家不等式，这是典型的贝叶斯在线选择问题。该新技术将一个实例表示为最大值的分位数函数，并将阈值的收益重写为线性核函数。该方法将最坏情况分析转化为无限维凸规划，从而能够更精确地理解有界方差条件下的预言家优势。
-
软提示可使随机 Transformer 近似函数
研究人员证明，在适当的软提示引导下，具有随机、未训练权重的单层 softmax 注意力网络可以近似紧致流形上的任何 Hölder 函数。这一发现表明，对于某些近似任务，预训练可能是可选的。该研究将 softmax 注意力与核方法联系起来，构建了显式的软提示，使冻结的 Transformer 能够模拟经典的 Nadaraya-Watson 核估计器。核回归的理论保证得以继承，从而实现了依赖于内在维度的速率的通用逼近定理，并揭示了提示范数…
-
新的PIKS方法提供通用物理信息核学习
研究人员推出了一种新的物理信息机器学习方法——物理信息核方法（PIKS），旨在克服现有方法的局限性。与难以优化的物理信息神经网络（PINNs）不同，PIKS提供了解析可处理性和闭式解。该方法旨在处理可能不满足传统核方法严格正则性假设的物理目标。PIKS已证明在线性微分约束方面具有通用一致性，并在数值实验中取得了与PINNs和有限元方法相比具有竞争力的结果。
-
已撤回的 arXiv 论文将度量熵与 RKBS 可嵌入性联系起来
一篇由作者 Yiping Lu 最近撤回的研究论文探讨了度量熵与函数空间嵌入再生核巴拿赫空间 (RKBS) 之间的关系。该研究建立了一种新颖的联系，表明函数空间的度量熵增长的界限允许其嵌入到 $L_p$ 型 RKBS 中。这一发现表明，$L_p$ 型 RKBS 为具有受控度量熵的可学习函数类别提供了广泛的框架，可能阐明核方法在学习复杂函数空间方面的能力和局限性。
-
新框架统一了深度神经网络的表示成本
一篇新的研究论文介绍了一个统一的框架，用于分析参数化数据拟合方法的表示成本。该框架揭示了包括核方法、小波和浅层神经网络在内的各种模型的诱导函数空间，并将它们视为特例。对于具有ReLU激活的深度神经网络，该论文证明了它们的原生空间是拟Banach空间，其中归纳偏倚无法通过深度大于二的范数来捕捉。
-
深度神经网络实现最优泛化率
两篇新提交至arXiv的论文分析了深度神经网络中梯度下降方法的泛化性能。研究为使用GD和SGD训练的深度ReLU网络中的超额总体风险建立了minimax最优率，前提是网络宽度与深度和样本量成比例缩放。这些发现表明，具有足够宽度的深度神经网络可以实现与核方法相当的泛化率。
-
核SVM：一项60年的算法仍能实现高精度
支持向量机（SVM）是一种强大的分类算法，用于查找数据组之间的最优边界。其核心概念，即“核技巧”，通过将数据映射到更高维度使其线性可分，从而实现复杂、非线性的分离。SVM的目标是最大化不同类别中最近数据点（称为支持向量）之间的间隔或差距，这些支持向量对于定义最优边界至关重要。
-
新的机器学习框架统一了包括Transformer在内的多种方法
一篇新的研究论文介绍了一种“定位方法”，这是一个基于定位核和局部均值的通用机器学习框架。该框架提供了统一的理论基础，并展示了与核方法、MeanShift和去噪自编码器等各种现有方法的联系。值得注意的是，该论文展示了如何从该框架推导出Transformer，为统一和设计灵活的学习系统提供了新的视角。
-
研究人员提出使用核方法在希尔伯特空间中实现高斯混合模型
研究人员开发了一个新的高斯混合模型框架，专为复杂、无限维度的数据（如动态函数数据）设计。该方法利用核均值嵌入，并提供了高效的估计算法，在无限维度空间中具有明确性和近似能力的理论保证。该框架在包括函数数据和医学应用中的随机图在内的各种数据类型上进行了评估。
-
Generalising maximum mean discrepancy: kernelised functional Bregman divergences
研究人员引入了一个新的函数式Bregman散度框架，将其应用扩展到希尔伯特空间和核方法。该方法利用这些空间的性质进行更方便的微积分和更容易的散度估计。该工作讨论了在聚类、通用估计、鲁棒估计和生成模型等领域的潜在应用。