Tikhonov regularization
PulseAugur coverage of Tikhonov regularization — every cluster mentioning Tikhonov regularization across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新方法解决图像分类中的无监督类别增量学习问题
两篇新的研究论文介绍了用于图像分类的无监督类别增量学习的新方法。PatchAdaNet 利用自动编码器在不存储旧数据的情况下持续更新特征表示,采用全局特征质心和弹性权重巩固来防止漂移。另一方面,RetroCBM 专注于保留将视觉特征与视觉-语言模型嵌入空间联系起来的统计数据,从而在旧训练样本被丢弃后仍能监督新概念。这两种方法都旨在提高模型在顺序学习场景中的性能和可解释性。
-
回归模型在作物产量预测中表现强劲
一项新的研究论文利用包含100万个观测值的数据集,评估了五种用于作物产量预测的回归模型。该研究比较了多元线性回归、随机森林回归、决策树回归、岭回归和套索回归。结果表明,线性回归模型,特别是采用70:30训练测试分割的套索回归,取得了具有竞争力的性能,具有较高的决定系数(R平方)和较低的均方根误差(RMSE),表明它们作为这项农业任务基线的有效性。
-
新框架通过分布外检测提升DNA甲基化肿瘤分类能力
研究人员开发了一个新框架,以提高基于DNA甲基化肿瘤分类系统的鲁棒性。这种深度表示学习方法侧重于检测分布外(OOD)样本,这些样本可能导致临床诊断中的错误预测。该研究探索了各种OOD检测方法,发现一维子空间分析(1D-SSA)是最有效的方法。当应用于肉瘤和脑肿瘤数据集时,该框架在区分分布内和分布外样本方面表现出高精度,表明其作为临床应用的质量控制层具有潜力。
-
新的滑动窗口签名特征提高了时间序列预测的准确性
研究人员开发了一种新的时间序列预测框架,该框架利用滑动窗口签名特征结合岭回归。该方法旨在捕捉目标序列与外部协变量之间复杂的非线性依赖和延迟依赖关系,而无需对它们之间的关系进行先验假设。该方法具有理论基础,并保证了近似通用性和平稳性,并提出了一种高效的顺序算法用于实际实现。在合成和真实电力需求数据上的评估表明,这些签名特征产生的预测结果准确,并且与专家驱动和神经网络方法具有竞争力。
-
新的分数保持持续套索方法解决灾难性遗忘问题
研究人员开发了一种名为分数保持持续套索(SP-CL)的新方法,以解决高维稀疏线性回归持续学习中的灾难性遗忘问题。该方法通过保持历史平方损失分数来分离稀疏估计和状态传输,从而使累积估计器能够精确地恢复平方损失下的全历史Lasso最小化器。SP-CL还为相关的特定任务系数纳入了正则化当前任务校正,在特定条件下实现了离线源辅助率,并提供了分解来分析信息损失和专业化。
-
新的SPIN优化器解决了持续学习中的灾难性遗忘问题
研究人员推出了一种新颖的优化器SPIN,旨在通过解决灾难性遗忘来增强在线持续学习(OCL)。SPIN通过在两个序列之间进行插值来显式分离可塑性和稳定性,理论上证明了对Tikhonov正则化的隐式逆Hessian近似。实验表明,将SPIN与现有的OCL方法集成可以持续提高性能,尤其是在具有挑战性的无排练场景和内存受限的情况下。
-
研究发现大语言模型在规划任务中遇到困难,语义可解释性是关键
一篇新论文探讨了大型语言模型(LLMs)在经典规划任务中面临的挑战,区分了结构复杂性与语义可解释性。研究人员发现,像删除松弛启发式 $h_{\mathrm{add}}$ 这样的既有符号启发式在估计结构难度方面是有效的,优于学习到的替代方法。研究还揭示,当谓词名称改变时,LLM 的性能会显著下降,这突显了模型对语义细微差别的敏感性,而不仅仅是结构属性。这表明改进混合规划系统需要更好地模拟 LLM 在谓词语义方面的行为。
-
新的迁移学习方法在回归中实现 minimax-最优缩放
研究人员开发了一种用于高维回归迁移学习的新方法,重点关注通过预训练模型可实现的性能改进。他们的工作为涉及预训练源模型和微调目标模型的两步程序的风险建立了确定性等价物。该研究确定了一种特定机制,在该机制中,该方法实现了 minimax-最优缩放定律,其中最优源正则化仅取决于源数据,表明其在不同目标任务中具有普遍性。实验结果支持了这些发现,包括在合成数据和语言模型上的实验,并且使用单遍随机梯度下降进行微调也可以实现最优速率。
-
AI模型估算油井压力,性能超越物理传感器
研究人员开发了一种机器学习模型来估算油井井底压力,为物理传感器提供了一种经济高效的替代方案。该研究利用长短期记忆(LSTM)和迁移学习,在巴西盐下盆地真实海上数据集上实现了低于2%的平均绝对百分比误差。该方法旨在通过在各种储层和流动条件下提供准确的压力数据来改进生产优化和安全性。
-
新公式可在数据收集前预测预测模型性能
研究人员开发了新的公式,使用普通最小二乘法和岭回归来估计预测模型的预期样本外 R 方和相关性。这些公式在提交给 arXiv 的论文中有详细介绍,将预测性能与设计阶段的数量联系起来,例如样本量、预测变量数量、假设的总体 R 方和设计效率因子。该方法考虑了协变量的排列方式,超越了仅考虑样本量和维度的传统公式。已创建一个名为 'predpower' 的 R 包来实现这些计算,并将其应用于一项通过智能手机行为预测个性的研究,以展示其在分析前评…
-
研究发现,仅靠平坦度不足以实现神经网络的 grokking
研究人员调查了损失景观平坦度在神经网络泛化中的作用,特别是在 grokking 现象中。虽然之前的工作表明平坦度是泛化所必需的,但本研究发现,仅使用 Sharpness Aware Minimization (SAM)(它倾向于将训练导向更平坦的解)不足以可靠地诱导 grokking。然而,当 SAM 与权重衰减结合使用时,它能将泛化解的过渡速度在 epoch 层面提高多达四倍。对最小的两层 ReLU 模型的理论分析表明,仅靠平坦度无…
-
机器学习预测正念干预后的抑郁结局
研究人员开发了一种可解释的机器学习模型,用于预测正念干预后的抑郁结局。该研究分析了一个临床队列,利用人口统计学变量、临床信息和治疗参与度来预测12周和24周时的贝克抑郁量表-II (BDI-II) 评分。采用了Ridge回归和LightGBM模型,其中LightGBM在24周预测方面表现最佳。主要发现表明,基线抑郁严重程度是最强的预测因子,而短期结局更多地受临床背景影响,长期结局则受行为依从性影响。
-
新研究详细介绍了体积采样岭回归的精确校准
研究人员发表了一篇论文,详细介绍了体积采样岭回归(一种统计技术)的进展。该研究侧重于该方法中的精确校准和风险几何形状,特别是在使用数据点子集时。主要发现包括识别出一种独特的惩罚,该惩罚在期望上与全数据岭拟合一致,并表征了在各种采样条件下的风险。该工作还探讨了等角紧框架的使用,并引入了一种具有改进风险特性的新型岭-Horvitz-Thompson混合模型,该模型得到了计算机辅助证明的支持。
-
AI数据管道改进了美国建筑计量预测
一篇新的研究论文详细介绍了一个数据引导管道,该管道旨在检测和修复美国建筑计量数据中的缺陷,然后再将其用于训练AI需求预测模型。该管道旨在通过解决诸如读数缺失或传感器冻结等问题来提高预测准确性。在Building Data Genome 2数据集上进行的受控实验表明,即使在现场研究中观察到的缺陷普遍存在的情况下,该管道也能有效地将预测准确性恢复到基线水平,同时保留了大部分训练目标。
-
新研究表明新鲜草图可加速岭回归
一篇新发表在arXiv上的研究论文探讨了在岭回归中使用“新鲜草图”的优势,这是一种用于加速大规模回归问题的技术。论文表明,在每一步绘制新的随机数,而不是重复使用相同的草图,可以带来更强的收敛保证和更快的收敛速度。在合成数据和真实世界数据上进行的实验,包括在Qwen2.5表示上的测试,支持了这些理论发现。
-
深度学习框架提升巴西大豆产量预测能力
研究人员开发了一种新的深度学习框架用于预测作物产量,该框架已在巴西大豆产量上进行了测试。该框架仅使用常规天气数据和两个静态输入(作物年份和农业环境标签),使其具有输入节俭和可迁移性。包括 Transformer 和 Mamba 在内的各种深度学习模型与传统方法进行了基准测试,其中 Transformer 模型取得了最高的准确性。该研究还使用 SHAP 诊断分析了特征重要性,揭示了作物年份影响长期趋势,而天气和农业环境因素驱动年度变化。
-
主成分回归在线性回归中优于谱滤波器
一篇新发表在arXiv上的论文详细介绍了用于线性回归的各种谱滤波器的统计比较。研究表明,主成分回归(PCR)在包括梯度下降和岭回归在内的其他单调谱滤波器中始终表现更优。研究结果表明,PCR是线性回归任务中这些方法中的最优且可接受的选择。
-
主成分回归在线性回归谱滤波器中表现最佳
一篇新论文比较了线性回归的各种谱滤波器性能,包括主成分回归(PCR)、梯度下降(GD)和岭回归。研究表明,PCR 一贯优于其他单调谱滤波器,其风险仅比常数因子大,在某些情况下,风险会呈多项式级减小。这一发现扩展了先前的工作,并确立了 PCR 在这些滤波器中作为一种最优且可接受的选择。
-
新的 R$^2$NO 框架将模拟神经网络算子适配到现实世界数据
研究人员开发了一个名为保留与修复神经网络算子 (R$^2$NO) 的新框架,以更好地将基于模拟预训练的神经网络算子适配到现实世界数据。该方法包括微调预训练算子,然后使用冻结版本提供基础预测。一个单独的修复模块随后学习改进,并与原始预测相结合。在 RealPDEBench 数据集上,R$^2$NO 的性能优于标准的微调和迭代改进技术。
-
新研究挑战标准神经缩放指数推导
一篇新研究论文提出了一种替代标准神经缩放指数的几何推导方法,该方法通常依赖于数据流形的内在维度。作者们证明,对于 $\mathbb{Z}_p$ 中的模加法,这种标准方法是未定义的,因为精确的代数解涉及作用于等距变换的 $\mathbb{Z}_p$ 轨道。相反,他们表明这种关系遵循与网络隐藏宽度相关的指数曲线,具有很高的 R 方值,表明该模型能更好地捕捉观察到的行为。