kernel method
PulseAugur coverage of kernel method — every cluster mentioning kernel method across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新研究将SVD重构为核心ML算法，并扩展至多源学习
两篇新研究论文从几何角度探讨了奇异值分解（SVD）在机器学习中的基础和应用。第一篇论文从几何视角重新审视了SVD，展示了其证明如何直接转化为主成分分析、核方法和PageRank的算法。第二篇论文介绍了一种名为eKSVD的扩展，它能够使用非对称核在多个数据源之间进行联合非线性特征学习，并且可以与神经网络互补。
-
新的 SLE 核框架绕过了高斯过程的距离度量要求
研究人员引入了一个名为稀疏地标嵌入（SLE）核的新核框架，旨在克服现有核方法（如高斯过程，GPs）的局限性。与要求特定距离度量以确保半正定性的传统方法不同，SLE 核可与任何距离度量配合使用。它通过将输入嵌入稀疏特征向量来实现这一点，从而保持了计算的可行性并对其性能提供了理论保证。
-
树张量网络揭示了尽管有困难目标，但仍存在良性损失景观
研究人员探索了深度神经网络为何尽管复杂但实际上通常能有效学习的理论基础。一项使用树张量网络（TTNs）的新研究表明，即使是具有内在学习困难目标的模型也可以拥有良性损失景观。研究结果表明，学习复杂目标的困难可能源于由秩亏缺引起的高阶退化鞍点，而不是局部最小值。
-
New Hyper-Kernel Ridge Regression Tackles Curse of Dimensionality
研究人员开发了一种新颖的方法——超核岭回归（HKRR），它结合了深度神经网络和核方法，以解决机器学习中的维度灾难问题。该方法旨在自适应地学习多指标模型（MIMs），这是一种组合学习任务。研究提供了样本复杂度结果，证明了HKRR克服维度灾难的能力，并探讨了交替最小化和交替梯度方法等优化技术，用数值结果验证了理论发现。
-
新的核方法对非线性动力系统进行分类
研究人员开发了Dynafit，一种用于对非线性动力系统生成的轨迹进行分类的新型基于核的方法。该方法在特征空间中学习距离度量，该特征空间近似于Koopman算子，从而有效地线性化了动力学。该方法利用核技巧进行高效计算，而不受特征空间维度的影响，并且可以纳入动力学先验知识。Dynafit已在混沌检测、手写动力学模式识别和视觉动态纹理分类等任务中证明了其有效性。
-
两篇arXiv论文推进算子学习的核方法 · 跟踪2个来源
两篇新的arXiv论文探讨了核方法在机器学习领域的进展，重点关注具有多个输入和输出的算子学习。第一篇论文介绍了一个通用的基于核的编码器-解码器框架，该框架可以处理多输入、多输出的算子学习，与深度学习模型相比，在准确性和成本方面均表现出竞争力。第二篇论文提出了一种核学习的变分分析，其中包含一个可学习的线性变换，以提高效率并检测数据中的尺度参数和特征变量，特别适用于多尺度和多索引模型。
-
新的核方法精炼了预言家不等式分析
研究人员开发了一种新颖的核方法来分析精炼的预言家不等式，这是典型的贝叶斯在线选择问题。该新技术将一个实例表示为最大值的分位数函数，并将阈值的收益重写为线性核函数。该方法将最坏情况分析转化为无限维凸规划，从而能够更精确地理解有界方差条件下的预言家优势。
-
软提示可使随机 Transformer 近似函数
研究人员证明，在适当的软提示引导下，具有随机、未训练权重的单层 softmax 注意力网络可以近似紧致流形上的任何 Hölder 函数。这一发现表明，对于某些近似任务，预训练可能是可选的。该研究将 softmax 注意力与核方法联系起来，构建了显式的软提示，使冻结的 Transformer 能够模拟经典的 Nadaraya-Watson 核估计器。核回归的理论保证得以继承，从而实现了依赖于内在维度的速率的通用逼近定理，并揭示了提示范数…
-
新的PIKS方法提供通用物理信息核学习
研究人员推出了一种新的物理信息机器学习方法——物理信息核方法（PIKS），旨在克服现有方法的局限性。与难以优化的物理信息神经网络（PINNs）不同，PIKS提供了解析可处理性和闭式解。该方法旨在处理可能不满足传统核方法严格正则性假设的物理目标。PIKS已证明在线性微分约束方面具有通用一致性，并在数值实验中取得了与PINNs和有限元方法相比具有竞争力的结果。
-
已撤回的 arXiv 论文将度量熵与 RKBS 可嵌入性联系起来
一篇由作者 Yiping Lu 最近撤回的研究论文探讨了度量熵与函数空间嵌入再生核巴拿赫空间 (RKBS) 之间的关系。该研究建立了一种新颖的联系，表明函数空间的度量熵增长的界限允许其嵌入到 $L_p$ 型 RKBS 中。这一发现表明，$L_p$ 型 RKBS 为具有受控度量熵的可学习函数类别提供了广泛的框架，可能阐明核方法在学习复杂函数空间方面的能力和局限性。
-
新框架统一了深度神经网络的表示成本
一篇新的研究论文介绍了一个统一的框架，用于分析参数化数据拟合方法的表示成本。该框架揭示了各种模型（包括核方法、小波和浅层神经网络）的诱导函数空间作为特例。对于具有ReLU激活的深度神经网络，该论文证明了它们的原生空间是拟Banach空间，其中归纳偏倚无法通过深度大于两层的范数来捕捉。
-
深度神经网络实现最优泛化率
两篇新提交至arXiv的论文分析了深度神经网络中梯度下降方法的泛化性能。研究为使用GD和SGD训练的深度ReLU网络中的超额总体风险建立了minimax最优率，前提是网络宽度与深度和样本量成比例缩放。这些发现表明，具有足够宽度的深度神经网络可以实现与核方法相当的泛化率。
-
核SVM：一项60年的算法仍能实现高精度
支持向量机（SVM）是一种强大的分类算法，用于查找数据组之间的最优边界。其核心概念，即“核技巧”，通过将数据映射到更高维度使其线性可分，从而实现复杂、非线性的分离。SVM的目标是最大化不同类别中最近数据点（称为支持向量）之间的间隔或差距，这些支持向量对于定义最优边界至关重要。
-
新的机器学习框架统一了包括Transformer在内的多种方法
一篇新的研究论文介绍了一种“定位方法”，这是一个基于定位核和局部均值的通用机器学习框架。该框架提供了统一的理论基础，并展示了与核方法、MeanShift和去噪自编码器等各种现有方法的联系。值得注意的是，该论文展示了如何从该框架推导出Transformer，为统一和设计灵活的学习系统提供了新的视角。
-
研究人员提出使用核方法在希尔伯特空间中实现高斯混合模型
研究人员开发了一个新的高斯混合模型框架，专为复杂、无限维度的数据（如动态函数数据）设计。该方法利用核均值嵌入，并提供了高效的估计算法，在无限维度空间中具有明确性和近似能力的理论保证。该框架在包括函数数据和医学应用中的随机图在内的各种数据类型上进行了评估。
-
Generalising maximum mean discrepancy: kernelised functional Bregman divergences
研究人员引入了一个新的函数式Bregman散度框架，将其应用扩展到希尔伯特空间和核方法。该方法利用这些空间的性质进行更方便的微积分和更容易的散度估计。该工作讨论了在聚类、通用估计、鲁棒估计和生成模型等领域的潜在应用。