Kernel Ridge Regression
PulseAugur coverage of Kernel Ridge Regression — every cluster mentioning Kernel Ridge Regression across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究为核岭回归提供置信区间
一篇新的arXiv论文介绍了一种用于核岭回归（KRR）的统一置信区间方法。KRR是一种用于分析非标准数据（如偏好和图）的方法。该研究提供了一种自举程序，该程序使用反对称乘子来实现效率和有效性，即使在模型错误指定的情况下也是如此。该程序可用于开发匹配效应的检验，例如确定学生是否从他们排名靠前的学校中获益更多。
-
新的微扰方法提高了NPIV估计的准确性
研究人员开发了一种新颖的非参数工具变量（NPIV）估计微扰方法，其灵感来源于物理学的微扰理论。该方法通过引入系统性的高阶修正来增强标准的核岭回归技术，显著提高了估计的准确性，尤其是在高维场景下。该方法有效地解决了维度灾难问题，实验结果表明，与传统的岭回归相比，在定义不清的高维情况下，预测误差最多可减少99%。
-
新的非线性核集成方法增强了数据协作分析
研究人员开发了一种名为非线性核集成（NKI）的新方法，以解决数据协作分析中的局限性。现有方法通常使用线性变换，这会增加重建风险，并且难以对齐非线性降维的中间表示。NKI 源自线性核集成，通过核岭回归和特征值问题提供全局最优解。该方法还结合了图正则化和中心化约束，以捕获几何和目标变量信息，从而提高下游分析的准确性，尤其是在图像分类任务中。
-
条件KRR通过无惩罚特征增强核方法
研究人员开发了一种称为条件核岭回归（条件KRR）的方法，通过整合无惩罚特征来增强核方法。这种方法类似于在函数类$\mathcal{F}$上执行标准线性回归，然后将KRR应用于剩余的未解释方差。理论分析表明，当回归函数的$\mathcal{F}$-分量显著时，条件KRR的性能可能优于标准KRR，实验结果也支持了这一发现。
-
新的条件KRR方法通过未惩罚特征增强核回归
一篇新论文介绍了条件核岭回归（Conditional KRR），这是一种通过整合未惩罚特征来增强标准KRR的方法。当一个特定的函数类（表示为 \(\mathcal{F}\)）显著影响目标变量时，这种方法是有益的。研究表明，Conditional KRR可以通过将其简化为具有修改后的“残差核”的标准KRR问题来进行分析。理论结果显示，预期测试风险的界限为 \(\mathcal{O}(1/\sqrt{N})\)，实验证实当 \(\math…
-
新理论解释AI如何平衡泛化和记忆
研究人员开发了一种新的数学理论，以解释学习系统如何在泛化与记忆例外情况之间取得平衡。他们引入了一个新颖的任务——带例外的传递推理，来研究这种能力。他们对核岭回归和预训练语言模型的分析表明，成功的泛化对表征几何敏感，并且这些模型会犯下理论预测的系统性错误。
-
核回归方法恢复多指标模型的中心子空间
研究人员开发了一种使用核岭回归和平均梯度外积（AGOP）的方法来识别数据中潜在的低维结构。该技术可以恢复多指标模型的中心子空间，即使在预测精度仍然很低的情况下也是如此。研究结果表明预测和表示之间存在分离，解释了迭代核方法（如递归特征机）的样本效率。
-
新的核脊回归框架揭示了多重下降行为
研究人员开发了一个新的大维度核脊回归框架，将其适用性扩展到限制性设置之外。这项工作建立了一个新颖的核族，并推导了泛化误差的收敛率。研究结果揭示了诸如极小极大最优性、饱和效应以及相对于样本量的多重下降行为等现象。
-
核岭回归为深度学习架构Cubit带来新方法
研究人员推出了一种新颖的架构Cubit，它用核岭回归（KRR）取代了Transformer中的注意力机制。这种方法在最近的一篇arXiv论文中有详细介绍，与传统的Transformer相比，它提供了更强的数学基础，并可能提高长序列建模能力。另一篇论文将可微分核岭回归（KRR）作为深度学习管道的模块化组件进行探索，证明其能够以更少的训练匹配或增强现有模型。