linear regression
PulseAugur coverage of linear regression — every cluster mentioning linear regression across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究比较了广义线性模型的MCMC、LA和VI复杂度
一篇新的arXiv论文探讨了广义线性模型中马尔可夫链蒙特卡洛（MCMC）方法的计算复杂度，并将其与拉普拉斯近似（LA）和变分推断（VI）进行了比较。研究表明，对于线性、逻辑回归和泊松回归，当样本量 $n$ 大约与维度 $d$ 成正比时，MCMC的复杂度缩放与一阶优化算法相当。这一发现表明，在比伯恩斯坦-冯·米塞斯定理先前确定的更一般的缩放条件下，MCMC在计算成本方面与LA和高斯VI具有竞争力。
-
研究论文详述线性回归模型中的“良性拟合不良”现象
一篇新的研究论文探讨了线性回归模型中“良性拟合不良”的现象，即在训练数据上表现不佳的模型仍然可以很好地泛化到新的、未见过的数据。这种情况发生在一个特定的区域，其中训练集的大小远大于维度数量，但小于直接插值所需的数量。研究表明，即使在经验训练误差很高的情况下，诸如随机梯度下降（SGD）之类的方法也可以在此预测的“第四象限”中实现较低的测试误差。
-
新研究探讨Banach空间中的最小范数插值
研究人员发表了一篇论文，在Banach空间背景下探讨了最小范数插值器（MNI）框架，特别关注了2-一致凸性的作用。这一假设比要求范数由内积诱导的限制性更小，通常意味着MNI没有封闭形式的解。该研究在此条件下为线性和非线性模型建立了MNI偏差的上限。论文证明，对于具有特定协变量分布的过参数化线性回归，该界限是尖锐的；当p在一定范围内且协变量非高斯时，也证明了$\ell_p$-MNI的尖锐泛化界限。
-
新的深度Sigma点过程增强了SAR图像RCS建模
研究人员开发了一种深度Sigma点过程（DSPP）模型，以改进星载合成孔径雷达（SAR）图像的雷达散射截面（RCS）建模。该新模型利用具有贝叶斯推断的分层高斯过程框架来预测RCS并量化相关不确定性，超越了传统的确定性方程。在RADARSAT-2数据上测试的DSPP模型，与线性回归相比表现出优越的性能，在误差减少和预测精度提高方面取得了显著成果，同时通过特征排序提供了增强的可解释性。
-
哈佛研究人员揭示预测 LLM 预训练动态的简单二次模型
哈佛大学的研究人员开发了一个简单的二次模型，可以准确预测大型语言模型在预训练过程中的优化动态。通过将泰勒定理应用于真实的神经网络检查点，他们发现展开式中的高阶项在关键的预训练窗口内贡献很小，这表明潜在的动态本质上是二次的。这个简化的模型为确定最佳停止时间、批次大小和学习率等核心预训练挑战提供了精确的见解，有效地揭示了预训练过程的本质。
-
新的模糊回归扩展增强了机器学习的可解释性
研究人员为Ex-Fuzzy库开发了一个扩展，以实现Mamdani风格的模糊回归，增强了机器学习的可解释性。该扩展采用模糊C均值聚类结合目标感知划分初始化策略，从增强的输入-输出空间中提取语言变量。在KEEL存储库的十个回归数据集上的评估表明，高斯划分在规则库紧凑的情况下实现了约0.86的平均决定系数，优于线性回归和随机森林等标准基线。
-
物理感知机器学习改进电动卡车能耗预测
研究人员开发了一种物理感知机器学习模型来预测电动卡车的能耗。通过将物理原理融入模型，他们发现与标准线性回归相比，贝叶斯线性回归提高了能耗预测的可靠性。更复杂的模型，如神经网络和梯度提升回归树，在也融入物理学后，进一步提高了准确性，并优于其标准对应模型。该框架还提供了一种估计预测不确定性的方法。
-
线性回归：乐观侦探的比喻
这篇文章将线性回归比作一个过于乐观的侦探，他认为每个问题都有一个简单、直接的解决方案。文章指出，虽然线性回归是一个基本的统计工具，但在不考虑其局限性的情况下普遍应用它可能会导致过于简化的结论。
-
新书《数据科学数学》在arXiv上发布
一本题为《数据科学数学》的新书已在arXiv上发布，作者是Thomas Strohmer。该书深入探讨了数据科学的数学基础，涵盖了奇异值分解、主成分分析、线性回归和深度学习等主题。它还探讨了压缩感知、矩阵集中不等式和非线性降维等高级概念。
-
MAGE 回归假设败给线性回归
作者将 MAGE 回归模型与线性回归进行了测试，假设 MAGE 会因其数据点强度依赖性而表现更好。然而，该假设失败了，表明 MAGE 回归在此特定测试中并未优于线性回归。
-
线性回归近视贝叶斯主动学习的新近似比
研究人员为线性回归中的近视贝叶斯主动学习风险建立了一个新的近似比。该比率与最大初始杠杆分数（MILS）呈线性关系，为贪婪算法在此背景下的性能提供了严格的界限。该研究将MILS引入为影响贪婪算法有效性的关键量，并包含数值模拟来展示研究结果。
-
时间序列预测悖论揭示：更细粒度的数据会降低准确性
一篇新论文提出了时间序列预测中的“粒度悖论”，强调时间分解的增加会改善样本内拟合，但由于误差累积而降低样本外准确性。该研究形式化了这种权衡，并使用13年的公共采购数据集，在六种粒度上对十种模型进行了基准测试。研究结果表明，虽然像Holt-Winters这样的模型在每日频率下表现不佳，LSTMs显示出U形误差曲线，而线性回归保持稳定，这表明该悖论与递归反馈拓扑有关，而不是模型复杂度。
-
序列相关性影响序列模型中的上下文学习
一篇新的研究论文探讨了数据中的序列相关性如何影响现代序列模型中的上下文学习（ICL）。该研究使用基于线性注意力的可解模型，并在 Transformer 架构上进行测试，确定了两个关键影响。首先，提示中的相关性可以有效缩短上下文长度，使其表现得像更短的独立示例提示。其次，当查询令牌也与上下文相关时，测试误差会降低，特别是与线性注意力相比，对于 softmax 注意力而言，这表明提示相关性会影响给定任务的最佳注意力架构。
-
新的AI安全框架为ML开发调整系统分析
研究人员已将系统理论过程分析（STPA）框架改编，以更好地识别和减轻AI系统中的危险。这种新方法称为面向过程的AI系统危险分析（PHASE），侧重于整个开发和操作过程，而不是孤立的组件。PHASE旨在检测系统级危险，承认导致算法危害的社会因素，建立问责制，并实现持续的危险监控。
-
新研究探讨深度神经网络泛化中的锐度与复杂度
研究人员探讨了锐度与复杂度对深度神经网络泛化能力的联合影响。通过采用线性回归和基于帕累托的分析，该研究量化评估了这两个因素如何共同促进泛化。研究结果表明，关注函数空间而非原始参数表示的锐度与复杂度定义，为各种设置下的泛化提供了更广泛的解释范围。虽然支持锐度-复杂度视角，但该研究也表明这种双因素观点可能并非泛化的完整理论。
-
新的深度学习模型改进肺癌肿瘤评分
研究人员开发了一种新颖的基于分布的深度多实例学习（MIL）框架，以提高非小细胞肺癌（NSCLC）中肿瘤比例评分（TPS）的准确性。该方法通过使用两个模型来解决手动标注和专家可用性方面的挑战：一个模型用于从单个图像块中提取组织病理学特征，另一个模型用于聚合这些特征以预测整个切片的TPS概率分布。所提出的方法利用零膨胀Beta（ZIBeta）模型，其性能显著优于传统的回归技术，并提高了预测准确性和可解释性。
-
新研究推进一致性预测以进行不确定性量化 · 跟踪 8 个来源
研究人员开发了新的理论框架和计算方法来增强一致性预测，这是一种用于量化机器学习模型中不确定性的技术。一篇论文提出了一种最优数据划分策略，用于分割一致性预测，以在保持覆盖保证的同时最小化预测区间长度，适用于包括神经网络在内的各种回归设置。另一项研究引入了近似留一估计器来加速一致性预测，通过显著减少运行时间，在覆盖率和效率方面可与精确方法相媲美。此外，还在探索用于分类任务（特别是长尾数据集）的宏观覆盖保证以及处理完全一致性预测中随机性的新方法。
-
神经网络在复杂数据分析中优于线性回归
与线性回归相比，神经网络具有显著优势，尤其是在捕捉数据中复杂、非线性模式的能力方面。它们还具备自组织和适应性，能够随着时间的推移进行学习和改进。此外，神经网络在并行处理方面表现出色，能够处理高噪声免疫力的大型数据集。
-
机器学习模型难以在美元/加元汇率预测中胜过随机游走
一项发表在arXiv上的新研究探讨了各种机器学习模型在预测美元/加元汇率方面相对于随机游走基准的有效性。研究人员发现，虽然大多数机器学习模型仅显示出边际改进，但线性回归是唯一在统计上优于朴素随机游走的模型。该研究使用了加拿大银行的每日数据，并将其重采样为月度观测值，采用了扩展窗口框架进行评估。SHAP分析被用于解释表现最佳的模型，结果显示短期滞后和近期滚动均值是主要的预测因子，这与汇率接近随机游走的性质一致。
-
新方法使用最优传输进行几何域自适应
研究人员开发了一种使用最优传输进行线性回归域自适应的新方法。该方法利用理论见解来恢复R^2中的几何变换，如旋转和平移，即使在目标数据有限的情况下也能实现自适应。该方法结合了k-means聚类和最优传输，在机器学习任务中提供了可解释性和实用价值。