Kernel Ridge Regression
PulseAugur coverage of Kernel Ridge Regression — every cluster mentioning Kernel Ridge Regression across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的核模型推动了AI架构特征学习的进展
研究人员开发了一种核岭回归的组合变体，用于复杂架构中的特征学习。该模型被表述为一个变分问题，展示了如何识别相关变量和消除噪声变量。一项关键发现表明，$\ell_1$型核（如拉普拉斯核）在恢复对非线性效应有贡献的特征方面是有效的，而高斯核仅限于线性效应。
-
核岭回归分析揭示各向异性对学习的影响
研究人员分析了各向异性高斯数据下的核岭回归，特别研究了输入协方差的幂律衰减如何影响学习曲线。研究表明，弱各向异性保留了各向同性情况的一些特征，同时引入了新的动力学，例如阻尼方差峰值和与插值峰值解耦的偏差转换。对于强各向异性，问题的有效维度变为常数，偏差表现出依赖于目标衰减率的尖锐转换，结果针对单索引目标进行了专门化。
-
自由概率核优化储层计算超参数
研究人员开发了一种使用自由概率核优化储层计算超参数选择的新方法。该方法无需进行广泛的模拟即可对候选操作状态进行排序，从而显著降低了与调整循环增益和输入尺度等参数相关的计算成本。该方法在各种合成和真实世界预测任务中表现出强大的性能，以一小部分计算资源实现了与穷举搜索相当的结果。
-
新的核岭回归方法增强了治疗效果估计的迁移学习能力
研究人员开发了一种使用核岭回归（KRR）的条件平均治疗效果（CATE）迁移学习新方法。该方法解决了源域和目标域之间、以及源数据中治疗组和对照组之间的协变量偏移和重叠不足等挑战。所提出的方法包括划分源数据以训练和选择最优CATE模型，并通过非渐近均方误差（MSE）界限提供了理论依据。在真实数据集上的实证研究表明，该方法具有优越的有限样本效率和适应性。
-
核岭回归分析揭示minimax最优性和正确性失效
研究人员在Hölder-Zygmund类中分析了用于非参数回归任务的核岭回归。他们的发现表明，错误设定的核岭回归可以达到n^{-2s/(2s+d)}的minimax L2速率。然而，该研究还揭示了在Hölder-Zygmund范数方面正确性失效的问题，即使在高斯噪声下回归函数为零，核岭回归噪声分量的期望平方范数也随着log n的增加而增加。
-
新论文统一了用于上下文自适应推理的统计模型和基础模型
一篇新论文提出了一个统一的框架来理解上下文自适应推理，将统计方法与大型基础模型相结合。该研究形式化了系统如何根据特定上下文专门化其参数或计算，在统计学中的显式适应与基础模型中通过提示或路由进行的隐式适应之间建立了联系。作者们引入了设计原则和评估指标来指导这些上下文自适应模型的设计和审计，并强调了可扩展性、可靠性和透明度方面的开放性挑战。
-
新研究为核岭回归提供置信区间
一篇新的arXiv论文介绍了一种用于核岭回归（KRR）的统一置信区间方法。KRR是一种用于分析非标准数据（如偏好和图）的方法。该研究提供了一种自举程序，该程序使用反对称乘子来实现效率和有效性，即使在模型错误指定的情况下也是如此。该程序可用于开发匹配效应的检验，例如确定学生是否从他们排名靠前的学校中获益更多。
-
新的WKRR方法增强了从含噪声动力学系统数据中学习的能力
研究人员开发了一种名为弱形式核岭回归（WKRR）的新方法，以改进从含噪声数据中学习动力学系统。该方法结合了有助于过滤噪声的弱形式和核学习策略。实验证明，WKRR对于干净和含噪声数据集都有效，并且在基准混沌系统和真实世界流体数据上，即使在高维情况下，也优于现有方法。
-
新的微扰方法提高了NPIV估计的准确性
研究人员开发了一种新颖的非参数工具变量（NPIV）估计微扰方法，其灵感来源于物理学的微扰理论。该方法通过引入系统性的高阶修正来增强标准的核岭回归技术，显著提高了估计的准确性，尤其是在高维场景下。该方法有效地解决了维度灾难问题，实验结果表明，与传统的岭回归相比，在定义不清的高维情况下，预测误差最多可减少99%。
-
新的非线性核集成方法增强了数据协作分析
研究人员开发了一种名为非线性核集成（NKI）的新方法，以解决数据协作分析中的局限性。现有方法通常使用线性变换，这会增加重建风险，并且难以对齐非线性降维的中间表示。NKI 源自线性核集成，通过核岭回归和特征值问题提供全局最优解。该方法还结合了图正则化和中心化约束，以捕获几何和目标变量信息，从而提高下游分析的准确性，尤其是在图像分类任务中。
-
条件KRR通过无惩罚特征增强核方法
研究人员开发了一种称为条件核岭回归（条件KRR）的方法，通过整合无惩罚特征来增强核方法。这种方法类似于在函数类$\mathcal{F}$上执行标准线性回归，然后将KRR应用于剩余的未解释方差。理论分析表明，当回归函数的$\mathcal{F}$-分量显著时，条件KRR的性能可能优于标准KRR，实验结果也支持了这一发现。
-
新的条件KRR方法通过未惩罚特征增强核回归
一篇新论文介绍了条件核岭回归（Conditional KRR），这是一种通过整合未惩罚特征来增强标准KRR的方法。当一个特定的函数类（表示为 \(\mathcal{F}\)）显著影响目标变量时，这种方法是有益的。研究表明，Conditional KRR可以通过将其简化为具有修改后的“残差核”的标准KRR问题来进行分析。理论结果显示，预期测试风险的界限为 \(\mathcal{O}(1/\sqrt{N})\)，实验证实当 \(\math…
-
新理论解释AI如何平衡泛化和记忆
研究人员开发了一种新的数学理论，以解释学习系统如何在泛化与记忆例外情况之间取得平衡。他们引入了一个新颖的任务——带例外的传递推理，来研究这种能力。他们对核岭回归和预训练语言模型的分析表明，成功的泛化对表征几何敏感，并且这些模型会犯下理论预测的系统性错误。
-
核回归方法恢复多指标模型的中心子空间
研究人员开发了一种使用核岭回归和平均梯度外积（AGOP）的方法来识别数据中潜在的低维结构。该技术可以恢复多指标模型的中心子空间，即使在预测精度仍然很低的情况下也是如此。研究结果表明预测和表示之间存在分离，解释了迭代核方法（如递归特征机）的样本效率。
-
新的核脊回归框架揭示了多重下降行为
研究人员开发了一个新的大维度核脊回归框架，将其适用性扩展到限制性设置之外。这项工作建立了一个新颖的核族，并推导了泛化误差的收敛率。研究结果揭示了诸如极小极大最优性、饱和效应以及相对于样本量的多重下降行为等现象。
-
核岭回归为深度学习架构Cubit带来新方法
研究人员推出了一种新颖的架构Cubit，它用核岭回归（KRR）取代了Transformer中的注意力机制。这种方法在最近的一篇arXiv论文中有详细介绍，与传统的Transformer相比，它提供了更强的数学基础，并可能提高长序列建模能力。另一篇论文将可微分核岭回归（KRR）作为深度学习管道的模块化组件进行探索，证明其能够以更少的训练匹配或增强现有模型。