Tikhonov regularization
PulseAugur coverage of Tikhonov regularization — every cluster mentioning Tikhonov regularization across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
新框架利用领域知识增强模型选择
一篇新论文介绍了一个用于模型选择的理论框架，该框架使用交叉验证，特别是在纳入领域知识时。该研究为整个学习流程建立了基于VC维度的偏差界，扩展了无界损失函数的现有结果。它提出了“学习空间”来根据领域知识构建候选模型，并证明了在处理高维线性回归时，适应良好的学习空间可以显著优于OLS、LASSO和岭回归等标准方法。
-
新AI框架可追溯训练数据到符号策略
研究人员开发了一个名为符号机制数据归因（SMDA）的新框架，以更好地理解特定训练数据如何影响AI模型的高层行为决策。与以往识别有影响力的训练示例的方法不同，SMDA将这些示例归因于控制模型行为的可解释符号策略。SMDA应用于Llama-3.2-3B-Instruct后，揭示了该模型安全行为中存在的系统性差距，解释了不同训练对如何影响特征，并识别了训练数据产生意外交叉特征效应的实例。
-
新基准使用加速度计数据预测心脏代谢风险
研究人员开发了一个新的基准数据集，该数据集源自 NHANES 加速度计数据，用于评估用于预测心脏代谢风险的表格学习方法。该基准包含 1,381 名成年人的数据，评估了岭回归、XGBoost 和 TabPFN v2 基础模型在预测 HbA1c、甘油三酯和 CRP 方面的性能。TabPFN v2 在 HbA1c 和 CRP 预测方面表现最佳，但甘油三酯的预测仍然困难。研究还强调了预测区间在人口覆盖公平性方面存在的问题，特别是对某些亚组。
-
新的深度学习模型改进肺癌肿瘤评分
研究人员开发了一种新颖的基于分布的深度多实例学习（MIL）框架，以提高非小细胞肺癌（NSCLC）中肿瘤比例评分（TPS）的准确性。该方法通过使用两个模型来解决手动标注和专家可用性方面的挑战：一个模型用于从单个图像块中提取组织病理学特征，另一个模型用于聚合这些特征以预测整个切片的TPS概率分布。所提出的方法利用零膨胀Beta（ZIBeta）模型，其性能显著优于传统的回归技术，并提高了预测准确性和可解释性。
-
斯里兰卡汇款研究使用人工智能预测经济流入 · 跟踪到2个来源
一篇题为《汇款蓝图：为斯里兰卡提供数据驱动的智能》的新研究论文分析了斯里兰卡32年的移民和汇款数据。研究发现，汇率和全球油价等外部宏观经济因素对汇款流入的影响大于国内指标。机器学习模型，特别是岭回归，在预测准确性方面比传统的SARIMA等时间序列方法有了显著提高，在稳定条件下预测2026年汇款将达到90.01亿美元。
-
经过优化的预处理的线性模型在时间序列预测方面可媲美先进架构
研究人员提出，优化预处理而非扩展模型架构可以显著提高时间序列预测的准确性。他们使用 Ridge 回归作为测试平台，发现最佳回溯期是特定于序列的，并且可能与预测范围呈非单调关系。在学习到的上下文比例上进行归一化以及调整跨序列超参数共享也被证明是有益的。这些经过优化的线性模型在多个基准测试中，其性能优于先前的线性方法，甚至超越了 Transformer、MLP 和 CNN 基线。
-
经过优化预处理的线性模型在时间序列预测方面优于复杂架构
新研究表明，优化预处理技术而非简单地扩展模型架构，可以显著提高时间序列预测的准确性。该研究使用了Ridge回归，并发现上下文长度、归一化和正则化的最优超参数至关重要。具体而言，最优回溯期高度依赖于序列本身，并且可能与预测范围呈非单调关系。在学习到的上下文尾部进行归一化比使用整个上下文更有效。这些经过优化的线性模型在多个基准测试中优于Transformer、MLP和CNN基线模型，表明经过良好调整的预处理比大型模型更具成本效益。
-
DREG正则化方法在深度学习中展现出卓越的准确性
研究人员推出了一种名为DREG的逐层雅可比正则化技术，该技术可作为神经网络的通用惩罚。在一项大规模实证研究中，DREG与其他正则化器相比，展现出卓越的准确性，尤其是在数据稀疏和使用Transformer架构中常见的GELU激活函数时。该方法持续优于基线，并在噪声鲁棒性方面排名第二，表明其作为深度学习模型的即插即用解决方案的潜力。
-
新的DSD正则化技术改进了病态核方法
研究人员开发了一种名为差分谱阻尼（DSD）的新型正则化技术，用于解决病态核方法，特别是最小二乘孪生支持向量机（LSTSVM）。DSD根据系统矩阵的特征值间隙结构自适应地调整其惩罚，在抑制损坏的特征向量的同时保留可靠的特征向量。与标准的Tikhonov正则化相比，该方法在GINA和Madelon等数据集上显示出更高的分类准确率，尤其是在处理高条件数和高维度问题时。
-
新研究分析用于域自适应的Nyström子采样
本文深入探讨了在协变量偏移下，当目标函数不在再生核希尔伯特空间内（即误设情况）时，Nyström子采样应用于无监督域自适应的收敛性质。研究提出了一种结合Tikhonov正则化和Nyström投影的方法，以建立高概率超额风险界。此外，该研究还处理了Radon-Nikodym导数未知且必须被近似的情况，详细说明了实现Oracle情况收敛速率所需的样本量。
-
机器学习精确识别船舶水动力学特性
一项发表在arXiv上的新研究探讨了应用监督机器学习，特别是像Ridge回归这样的正则化回归技术，来辨识船舶水动力学系数。该研究利用了从船舶操纵（如之字形和回转试验）的CFD模拟生成的合成数据。研究结果表明，这些方法可以有效缓解多重共线性问题并提高预测精度，而多样化的操纵数据则能增强模型性能。
-
新的联邦持续遗忘方法可实现对AI模型的精确数据移除
研究人员开发了一种新颖的联邦持续遗忘方法，该方法专门针对具有冻结基础模型和可训练脊回归头部的模型。这种方法允许按需精确移除模型中特定数据的 the influence，解决了联邦学习设置中的“被遗忘权”要求。该方法利用一种通信协议，通过固定大小的消息有效地更新模型头部，确保服务器的模型始终与集中式再训练相同，即使有连续的添加和删除请求。在四个基准上的实验表明，该技术实现了近乎完美的准确性，以最小的 Frobenius 误差匹配集中式再…
-
新的训练方法提高了物理水库计算机的性能
研究人员开发了物理水库计算机的新训练原则，重点关注光学现象。该研究引入了输出剪枝和正则化等方法来对抗过拟合并提高计算效率。对随机剪枝进行了方差过滤、分支定界和统计过滤等技术的比较，重点是优化水库输出采样以提高性能，尤其是在非线性任务中。
-
梯度下降在线性模型中优于岭回归
一篇新发表在arXiv上的研究论文分析了梯度下降（GD）与岭回归和在线随机梯度下降（SGD）在线性回归任务中的性能。研究发现，GD的性能持续优于岭回归，提供了可比或更优的风险概况。然而，GD和SGD的表现无法直接比较，每种算法在不同类型的问题上都有其优势。
-
新的微扰方法提高了NPIV估计的准确性
研究人员开发了一种新颖的非参数工具变量（NPIV）估计微扰方法，其灵感来源于物理学的微扰理论。该方法通过引入系统性的高阶修正来增强标准的核岭回归技术，显著提高了估计的准确性，尤其是在高维场景下。该方法有效地解决了维度灾难问题，实验结果表明，与传统的岭回归相比，在定义不清的高维情况下，预测误差最多可减少99%。
-
研究人员探索岭回归中的“领悟”现象
三篇新研究论文探讨了机器学习中的“领悟”（grokking）概念，特别是在岭回归的背景下。其中一篇论文提出了一种寻找最优正则化强度的数值程序，展示了接近最优的泛化能力。另一篇论文为使用梯度下降和权重衰减训练的线性模型中的领悟现象提供了理论证明，认为这是一种训练条件而非根本性缺陷。第三篇论文将物理学中的随机重置与岭回归联系起来，展示了重置到原点如何复制岭估计量，并探索了具有不同更新规律的替代谱滤波器。
-
权重衰减控制 Transformer 训练机制，揭示新的诊断方法
研究人员发现，在模块化算术任务上，权重衰减是控制 Transformer 训练机制的关键参数。他们引入了两种新的、低成本的在线诊断方法——平均成对注意力头余弦相似度和熵标准差——以监测注意力激活的训练动态。这些诊断方法应用于各种实验条件和模型规模，能有效区分记忆、泛化（grokking）和崩溃，并确定了记忆到发展的边界的具体过渡点。
-
arXiv论文分析非同分布数据的岭回归
两篇最新的arXiv预印本论文探讨了用于非同分布数据的高维岭回归，突破了独立同分布样本的标准假设。论文引入了方差剖面模型来分析岭估计器的预测风险，特别关注了双下降现象。研究人员利用随机矩阵理论和算子值自由概率的工具，推导了风险和自由度的渐近等价式，并通过数值实验验证了他们的发现，并强调了异质方差剖面如何改变泛化行为。
-
自蒸馏在尖峰协方差模型中实现最优性能
研究人员开发了一个用于机器学习中自蒸馏的统计框架，特别是在尖峰协方差模型中。他们的分析表明，s步自蒸馏是具有s个尖峰的矩阵的最优谱收缩估计器，优于现有方法。该研究还强调，s步对于这种最优性是必需的，并探讨了自蒸馏仍然是最佳局部策略的联邦学习方法。
-
论文质疑权重衰减在深度学习稳定性中的作用
一篇新论文研究了权重衰减在深度学习训练稳定性中的作用，挑战了其作为简单正则化技术的普遍看法。研究分析了权重衰减如何影响“稳定性边缘”的参数动态和损失锐度，证明它能有效减缓渐进锐化。研究还揭示了一种依赖于架构的相变，其中权重衰减在CNN中会抑制振荡，但在MLP中，由于参数向量和锐度梯度的对齐，它会在理论边界以下稳定锐度。