Tikhonov regularization
PulseAugur coverage of Tikhonov regularization — every cluster mentioning Tikhonov regularization across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
机器学习预测正念干预后的抑郁结局
研究人员开发了一种可解释的机器学习模型，用于预测正念干预后的抑郁结局。该研究分析了一个临床队列，利用人口统计学变量、临床信息和治疗参与度来预测12周和24周时的贝克抑郁量表-II (BDI-II) 评分。采用了Ridge回归和LightGBM模型，其中LightGBM在24周预测方面表现最佳。主要发现表明，基线抑郁严重程度是最强的预测因子，而短期结局更多地受临床背景影响，长期结局则受行为依从性影响。
-
新研究详细介绍了体积采样岭回归的精确校准
研究人员发表了一篇论文，详细介绍了体积采样岭回归（一种统计技术）的进展。该研究侧重于该方法中的精确校准和风险几何形状，特别是在使用数据点子集时。主要发现包括识别出一种独特的惩罚，该惩罚在期望上与全数据岭拟合一致，并表征了在各种采样条件下的风险。该工作还探讨了等角紧框架的使用，并引入了一种具有改进风险特性的新型岭-Horvitz-Thompson混合模型，该模型得到了计算机辅助证明的支持。
-
AI数据管道改进了美国建筑计量预测
一篇新的研究论文详细介绍了一个数据引导管道，该管道旨在检测和修复美国建筑计量数据中的缺陷，然后再将其用于训练AI需求预测模型。该管道旨在通过解决诸如读数缺失或传感器冻结等问题来提高预测准确性。在Building Data Genome 2数据集上进行的受控实验表明，即使在现场研究中观察到的缺陷普遍存在的情况下，该管道也能有效地将预测准确性恢复到基线水平，同时保留了大部分训练目标。
-
新研究表明新鲜草图可加速岭回归
一篇新发表在arXiv上的研究论文探讨了在岭回归中使用“新鲜草图”的优势，这是一种用于加速大规模回归问题的技术。论文表明，在每一步绘制新的随机数，而不是重复使用相同的草图，可以带来更强的收敛保证和更快的收敛速度。在合成数据和真实世界数据上进行的实验，包括在Qwen2.5表示上的测试，支持了这些理论发现。
-
深度学习框架提升巴西大豆产量预测能力
研究人员开发了一种新的深度学习框架用于预测作物产量，该框架已在巴西大豆产量上进行了测试。该框架仅使用常规天气数据和两个静态输入（作物年份和农业环境标签），使其具有输入节俭和可迁移性。包括 Transformer 和 Mamba 在内的各种深度学习模型与传统方法进行了基准测试，其中 Transformer 模型取得了最高的准确性。该研究还使用 SHAP 诊断分析了特征重要性，揭示了作物年份影响长期趋势，而天气和农业环境因素驱动年度变化。
-
主成分回归在线性回归中优于谱滤波器
一篇新发表在arXiv上的论文详细介绍了用于线性回归的各种谱滤波器的统计比较。研究表明，主成分回归（PCR）在包括梯度下降和岭回归在内的其他单调谱滤波器中始终表现更优。研究结果表明，PCR是线性回归任务中这些方法中的最优且可接受的选择。
-
主成分回归在线性回归谱滤波器中表现最佳
一篇新论文比较了线性回归的各种谱滤波器性能，包括主成分回归（PCR）、梯度下降（GD）和岭回归。研究表明，PCR 一贯优于其他单调谱滤波器，其风险仅比常数因子大，在某些情况下，风险会呈多项式级减小。这一发现扩展了先前的工作，并确立了 PCR 在这些滤波器中作为一种最优且可接受的选择。
-
新的 R$^2$NO 框架将模拟神经网络算子适配到现实世界数据
研究人员开发了一个名为保留与修复神经网络算子 (R$^2$NO) 的新框架，以更好地将基于模拟预训练的神经网络算子适配到现实世界数据。该方法包括微调预训练算子，然后使用冻结版本提供基础预测。一个单独的修复模块随后学习改进，并与原始预测相结合。在 RealPDEBench 数据集上，R$^2$NO 的性能优于标准的微调和迭代改进技术。
-
新研究挑战标准神经缩放指数推导
一篇新研究论文提出了一种替代标准神经缩放指数的几何推导方法，该方法通常依赖于数据流形的内在维度。作者们证明，对于 $\mathbb{Z}_p$ 中的模加法，这种标准方法是未定义的，因为精确的代数解涉及作用于等距变换的 $\mathbb{Z}_p$ 轨道。相反，他们表明这种关系遵循与网络隐藏宽度相关的指数曲线，具有很高的 R 方值，表明该模型能更好地捕捉观察到的行为。
-
New Hyper-Kernel Ridge Regression Tackles Curse of Dimensionality
研究人员开发了一种新颖的方法——超核岭回归（HKRR），它结合了深度神经网络和核方法，以解决机器学习中的维度灾难问题。该方法旨在自适应地学习多指标模型（MIMs），这是一种组合学习任务。研究提供了样本复杂度结果，证明了HKRR克服维度灾难的能力，并探讨了交替最小化和交替梯度方法等优化技术，用数值结果验证了理论发现。
-
新研究探讨神经网络泛化理论极限 · 4篇论文
四篇新研究论文深入探讨了神经网络泛化的理论基础。其中一篇论文建立了可证明的组合泛化必要且充分的条件，侧重于结构对齐和无歧义的最小化表示，并在Lean 4中进行了验证。另一篇论文分析了带权重衰减的梯度下降下的泛化动力学，分解了总体误差并界定了预测变化。第三篇论文推导了泛化差距的微分方程，适用于深度网络和光滑损失函数，并在数值实验中显示了其准确性。最后一篇论文引入了一个“规则与事实”模型，用于表征神经网络如何同时学习底层规则和记忆特定例外…
-
新定律精确预测神经网络优化不稳定性
研究人员发现了一个精确的数学定律，该定律控制着神经网络中 Scale-Invariant Optimization 的不稳定性。该定律揭示了学习率调度与权重衰减之间的反馈循环，该循环由参数范数介导，参数范数决定了优化器的有效步长。该研究提出了一个精确控制训练动态的单一标量量，并确定了区分稳定和不稳定学习率区域的清晰边界。该框架为理解优化器行为和设计训练调度提供了新的视角，其研究结果已在包括 MLP、CNN 和 GPT2 在内的各种神经…
-
New FR-PT Framework Enhances Neural Network Post-Training Adaptation
研究人员引入了用于训练后（Post-Training）的特征级反向传播（Feature-level Reverse Propagation for Post-Training, FR-PT），一个旨在提高神经网络在初始训练后适应过程中的透明度和控制力的新型分层框架。该方法通过在冻结的下游网络中向后重建条件标签的特征，提供显式的中间监督。FR-PT利用计算一致性原理（Computation Consistency Principle）和…
-
新研究详解神经网络泛化中的“通道化”现象
研究人员在过参数化神经网络中识别出一种称为“通道化”的现象，它描述了拟合训练数据的解的选择在训练过程中如何演变。这一过程在三个“grokking”任务中均有观察到，涉及在可见泛化出现之前出现的、对权重衰减脉冲的有序时间敏感性。研究表明，这种通道化通过约束解空间来帮助选择泛化能力更好的解。
-
延迟观测模型增强了厄尔尼诺现象的可预测性
研究人员开发了使用尼诺3.4指数延迟观测来预测厄尔尼诺事件的模型。通过分析截至2026年7月的数据，他们发现与简单方法相比，纳入延迟信息能显著提高预测精度。尽管增加模型复杂性，如多层感知机或循环神经网络（GRU、LSTM），并未带来进一步的提升，但简单的SINDy递归和浅层循环架构被证明是有效的。研究表明，过去信息的表征比模型复杂性对于预测厄尔尼诺的演变更为关键。
-
两篇arXiv论文分析AI和ML中的统计逆问题
两篇新提交至arXiv的研究论文探讨了机器学习和人工智能中的统计逆问题。第一篇论文侧重于非自反巴拿赫空间中这些问题的正则化技术，使用布雷格曼距离推导收敛界限。第二篇论文采用Tikhonov正则化和统计学习理论，分析了再生核巴拿赫空间中的收敛性，以从噪声数据中估计解决方案。
-
新的无参数不动点算法实现了线性收敛
研究人员开发了新的无参数不动点算法，专为压缩映射设计。这些算法可以在无需预先了解收缩因子的情况下，自动识别和利用隐藏的压缩性。这些方法为不动点残差和到唯一不动点的距离提供了明确的线性收敛率，同时保持与经典不动点方案相似的计算成本。扩展包括应用于共协迫方程和受Nesterov方案启发的无参数加速变体，数值实验显示其与现有自适应方法相比具有竞争力。
-
低成本水库计算模型推动手语识别发展
研究人员开发了一种新颖的、低成本的混合水库计算模型，用于识别孤立的手语视频。该模型利用MediaPipe提取关键的身体和手部点，然后由结合了深度和双向水库计算的混合水库计算架构进行处理。脊回归模型将最终状态映射到类别标签，在WLASL100数据集上实现了具有竞争力的准确率，同时与深度学习方法相比大大缩短了训练时间，使其适合部署在边缘设备上。
-
岭回归估计量的新高斯近似
研究人员开发了一种新颖的高斯近似方法，用于岭回归估计量的有限样本分布。该近似考虑了估计量在减少误差方面的偏差-方差权衡，并且基于非标准渐近理论，其中正则化参数随样本量增长，总体系数局部于参考向量。该方法能够处理数据中的一般异方差性和自相关性，并被用于提出两种新的正则化参数选择策略，以最小化预测风险。
-
新框架解决解析持续学习中的类别不平衡问题
研究人员开发了一个名为几何-谱校正（GSR）的新框架，以解决类别增量学习中的挑战，特别是在长尾分布的数据集上。现有的解析持续学习方法虽然高效，但在类别不平衡方面存在困难，会导致尾部类别的谱坍塌。GSR作为一种谱正则化技术，选择性地膨胀尾部类别的特征值，以提高数值稳定性和泛化能力。实验表明，GSR在长尾场景的解析类别增量学习中取得了最先进的性能。