Kernel Ridge Regression
PulseAugur coverage of Kernel Ridge Regression — every cluster mentioning Kernel Ridge Regression across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
为表格数据引入高度自适应岭回归方法
提出了一种名为高度自适应岭（HAR）的新回归方法，该方法对具有平方可积分段导数的右连续函数实现了无量纲的 n^{-1/3} 收敛率。该方法特别适用于表格数据，并且计算效率高，通过具有特定数据自适应核的核岭回归来实现。研究还建立了 HAR 与索伯列夫空间中核岭回归之间的联系，并通过模拟和真实数据验证了该理论。
-
神经切线核探测学习到的材料表征
研究人员开发了一种使用神经切线核（NTK）来理解神经网络预测材料内部表征的方法。通过评估训练参数下的NTK，他们可以揭示预测超导转变温度的网络所学习到的几何结构。这种方法与核岭回归相结合，与网络的预测精度非常接近，并且显著优于使用初始核。对学习到的几何结构的分析表明，它主要由几个关键方向决定，从而可以将化合物组织成可识别的超导家族，并识别出具有相似化学和关联电子性质的材料。
-
新分析探讨了核方法的最优随机特征
本文对具有随机特征的核岭回归（KRR-RF）进行了全面分析，重点关注其在一般条件下的性能，包括模型误设和重尾噪声。该研究改进了现有的最坏情况统一界限，在轻尾噪声设置下实现了最小最大最优学习率。此外，它通过采用希尔伯特值Fuk-Nagaev不等式将这些最优结果扩展到重尾噪声，表明鲁棒性的额外成本是样本量要求稍强一些。研究结果表明，KRR-RF在误设设置下可以在弱矩条件下达到最小最大最优，这是该领域的一项新贡献，并通过数值实验和真实世界数…
-
BLOKS 求解器使用新颖的预处理器扩展核脊回归
研究人员推出了一种新颖的基于共轭梯度法的求解器 BLOKS，专为 Nyström 草图核脊回归 (KRR) 设计。该方法结合了块 Jacobi 近似和草图技术，创建了一个内存成本与数据集大小和模型参数无关的预处理器，从而能够扩展到大型模型。BLOKS 的高效、GPU 加速实现表明，在大型数据集上，其性能与现有最先进的方法相当或更优，在保持有利的时间和内存复杂度的同时实现了出色的准确性。
-
新框架实现连续查询空间中大语言模型的语义缓存
研究人员开发了一种新颖的理论框架，用于在连续查询空间中对大语言模型（LLM）的响应进行语义缓存，解决了现有离散查询模型的局限性。这种新方法利用动态 epsilon-net 离散化结合核岭回归来管理不确定性并推广到语义邻域的反馈。该系统旨在通过有效重用相似查询的缓存响应来降低推理成本和延迟，实证评估显示其性能优于现有方法。
-
核岭回归推动动力学系统建模
研究人员开发了一个新的框架，使用核岭回归（KRR）来模拟动力学系统中缺失的组件。该方法同时处理常微分方程（ODE）和偏微分方程（PDE）设置中的差分方程闭合，以及动理学方程中的矩闭合代数闭合。在 Lorenz-63 系统和 Kuramoto-Sivashinsky 方程上的实验表明，KRR 实现了准确的长期预测，优于基于 LSTM 的闭合模型。该研究还探讨了动理学方程的矩闭合，比较了全局 KRR 模型和空间局部模型，发现局部模型在双峰…
-
新框架统一并分析 Learn-Then-Differentiate 梯度估计
已开发出一种新的 Learn-Then-Differentiate (LTD) 梯度估计框架，它统一了现有方法并提供了准确性保证。该框架解释了 LTD 区分了什么以及它如何准确地估计梯度，特别是对于具有加权表示的模型。研究表明，拟合模型的准确性保证可以转化为梯度准确性，在特定的平滑条件下接近标准的蒙特卡洛速率。这种统一的方法包括了核回归和核岭回归等成熟技术，同时也为多核学习和光滑神经网络提供了新的见解。
-
机器学习模型加速半导体缺陷分析
研究人员开发了机器学习模型，用于预测半导体（特别是 4H-SiC）的缺陷形成能和零声子线。这些模型旨在通过作为预筛步骤来加速高通量工作流程，减少对昂贵的密度泛函理论 (DFT) 计算的需求。在空位和取代缺陷系统中，这些模型在形成能和零声子线上的平均绝对误差分别为 0.437 eV 和 0.202 eV，显示出超越预筛的直接应用潜力。
-
新的核模型推动了AI架构特征学习的进展
研究人员开发了一种核岭回归的组合变体，用于复杂架构中的特征学习。该模型被表述为一个变分问题，展示了如何识别相关变量和消除噪声变量。一项关键发现表明，$\ell_1$型核（如拉普拉斯核）在恢复对非线性效应有贡献的特征方面是有效的，而高斯核仅限于线性效应。
-
核岭回归分析揭示各向异性对学习的影响
研究人员分析了各向异性高斯数据下的核岭回归，特别研究了输入协方差的幂律衰减如何影响学习曲线。研究表明，弱各向异性保留了各向同性情况的一些特征，同时引入了新的动力学，例如阻尼方差峰值和与插值峰值解耦的偏差转换。对于强各向异性，问题的有效维度变为常数，偏差表现出依赖于目标衰减率的尖锐转换，结果针对单索引目标进行了专门化。
-
自由概率核优化储层计算超参数
研究人员开发了一种使用自由概率核优化储层计算超参数选择的新方法。该方法无需进行广泛的模拟即可对候选操作状态进行排序，从而显著降低了与调整循环增益和输入尺度等参数相关的计算成本。该方法在各种合成和真实世界预测任务中表现出强大的性能，以一小部分计算资源实现了与穷举搜索相当的结果。
-
新的核岭回归方法增强了治疗效果估计的迁移学习能力
研究人员开发了一种使用核岭回归（KRR）的条件平均治疗效果（CATE）迁移学习新方法。该方法解决了源域和目标域之间、以及源数据中治疗组和对照组之间的协变量偏移和重叠不足等挑战。所提出的方法包括划分源数据以训练和选择最优CATE模型，并通过非渐近均方误差（MSE）界限提供了理论依据。在真实数据集上的实证研究表明，该方法具有优越的有限样本效率和适应性。
-
核岭回归分析揭示minimax最优性和正确性失效
研究人员在Hölder-Zygmund类中分析了用于非参数回归任务的核岭回归。他们的发现表明，错误设定的核岭回归可以达到n^{-2s/(2s+d)}的minimax L2速率。然而，该研究还揭示了在Hölder-Zygmund范数方面正确性失效的问题，即使在高斯噪声下回归函数为零，核岭回归噪声分量的期望平方范数也随着log n的增加而增加。
-
新论文统一了用于上下文自适应推理的统计模型和基础模型
一篇新论文提出了一个统一的框架来理解上下文自适应推理，将统计方法与大型基础模型相结合。该研究形式化了系统如何根据特定上下文专门化其参数或计算，在统计学中的显式适应与基础模型中通过提示或路由进行的隐式适应之间建立了联系。作者们引入了设计原则和评估指标来指导这些上下文自适应模型的设计和审计，并强调了可扩展性、可靠性和透明度方面的开放性挑战。
-
新研究为核岭回归提供置信区间
一篇新的arXiv论文介绍了一种用于核岭回归（KRR）的统一置信区间方法。KRR是一种用于分析非标准数据（如偏好和图）的方法。该研究提供了一种自举程序，该程序使用反对称乘子来实现效率和有效性，即使在模型错误指定的情况下也是如此。该程序可用于开发匹配效应的检验，例如确定学生是否从他们排名靠前的学校中获益更多。
-
新的WKRR方法增强了从含噪声动力学系统数据中学习的能力
研究人员开发了一种名为弱形式核岭回归（WKRR）的新方法，以改进从含噪声数据中学习动力学系统。该方法结合了有助于过滤噪声的弱形式和核学习策略。实验证明，WKRR对于干净和含噪声数据集都有效，并且在基准混沌系统和真实世界流体数据上，即使在高维情况下，也优于现有方法。
-
新的微扰方法提高了NPIV估计的准确性
研究人员开发了一种新颖的非参数工具变量（NPIV）估计微扰方法，其灵感来源于物理学的微扰理论。该方法通过引入系统性的高阶修正来增强标准的核岭回归技术，显著提高了估计的准确性，尤其是在高维场景下。该方法有效地解决了维度灾难问题，实验结果表明，与传统的岭回归相比，在定义不清的高维情况下，预测误差最多可减少99%。
-
新的非线性核集成方法增强了数据协作分析
研究人员开发了一种名为非线性核集成（NKI）的新方法，以解决数据协作分析中的局限性。现有方法通常使用线性变换，这会增加重建风险，并且难以对齐非线性降维的中间表示。NKI 源自线性核集成，通过核岭回归和特征值问题提供全局最优解。该方法还结合了图正则化和中心化约束，以捕获几何和目标变量信息，从而提高下游分析的准确性，尤其是在图像分类任务中。
-
条件KRR通过无惩罚特征增强核方法
研究人员开发了一种称为条件核岭回归（条件KRR）的方法，通过整合无惩罚特征来增强核方法。这种方法类似于在函数类$\mathcal{F}$上执行标准线性回归，然后将KRR应用于剩余的未解释方差。理论分析表明，当回归函数的$\mathcal{F}$-分量显著时，条件KRR的性能可能优于标准KRR，实验结果也支持了这一发现。
-
新的条件KRR方法通过未惩罚特征增强核回归
一篇新论文介绍了条件核岭回归（Conditional KRR），这是一种通过整合未惩罚特征来增强标准KRR的方法。当一个特定的函数类（表示为 \(\mathcal{F}\)）显著影响目标变量时，这种方法是有益的。研究表明，Conditional KRR可以通过将其简化为具有修改后的“残差核”的标准KRR问题来进行分析。理论结果显示，预期测试风险的界限为 \(\mathcal{O}(1/\sqrt{N})\)，实验证实当 \(\math…