linear regression
PulseAugur coverage of linear regression — every cluster mentioning linear regression across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
新AI系统利用记忆模型模仿人类驾驶行为
研究人员开发了一种新颖的神经记忆模糊推理系统（NeMeFIS），旨在模仿车辆中人类的跟车行为。这种分层机器学习架构区分了加速和减速，并结合了五种人类记忆：程序性记忆、工作记忆、情景记忆、语义记忆和陈述性记忆。NeMeFIS 模拟了在各种道路类型和车辆条件下的认知对驾驶的影响，其性能优于线性回归和 LSTM 等传统方法。系统分析表明，陈述性记忆在复杂的刹车决策中起着重要作用，而程序性记忆则控制着加速，风险感知是城市驾驶的关键因素。
-
机器学习中重尾数据的新分析方法
研究人员开发了一种新方法，用于分析机器学习中经验风险最小化（ERM）在处理具有重尾分布的数据集时的性能。该方法引入了一个函数序参量来描述与每个系数相关的随机有效问题。利用副本法，该研究在高维极限下精确刻画了泛化误差，并建立了一个重尾普适性定律，详细说明了典型误差如何与预测可靠性和贝叶斯最优预测误差相关。
-
新证书揭示表格基础模型中的联合处理
研究人员在预训练表格基础模型（TFMs）的评估中发现了一个“标准化陷阱”。这个陷阱的出现是因为公共TFM包在模型处理标签之前对其进行标准化，从而掩盖了模型的真实行为。该研究提出了两种证书来检测固定权重预测和独立非线性标签转换的总和，发现改变一个上下文标签会影响其他标签如何影响预测，这种现象被称为“联合处理”。这种联合处理似乎在训练过程中发展，注意力分数在这些相互作用中起着重要作用。
-
分析 Adam 优化器与自然梯度下降的几何偏差
一篇新研究论文调查了深度学习中常用的优化算法 Adam 及其与自然梯度下降 (NGD) 的关系。该研究分析了 Adam 的更新规则，包括动量，并将其视为对经验 Fisher 矩阵的近似，并进行了多项修改。研究人员在各种损失曲面上测量了 Adam 相对于 NGD 的几何偏差，发现偏差是依赖于上下文的，在病态条件和非凸神经网络中显著增加。虽然较高的几何漂移与较慢的初始优化相关，但并未损害最终目标最小化，这表明 Adam 的有效性可能源于近…
-
主成分回归在线性回归中优于谱滤波器
一篇新发表在arXiv上的论文详细介绍了用于线性回归的各种谱滤波器的统计比较。研究表明，主成分回归（PCR）在包括梯度下降和岭回归在内的其他单调谱滤波器中始终表现更优。研究结果表明，PCR是线性回归任务中这些方法中的最优且可接受的选择。
-
主成分回归在线性回归谱滤波器中表现最佳
一篇新论文比较了线性回归的各种谱滤波器性能，包括主成分回归（PCR）、梯度下降（GD）和岭回归。研究表明，PCR 一贯优于其他单调谱滤波器，其风险仅比常数因子大，在某些情况下，风险会呈多项式级减小。这一发现扩展了先前的工作，并确立了 PCR 在这些滤波器中作为一种最优且可接受的选择。
-
新研究以新方法解决在线学习中的动态遗憾问题 · 跟踪3个来源
三篇新研究论文探讨了在线学习中的动态遗憾最小化问题。第一篇论文侧重于针对弯曲损失和Adam等自适应优化器的FTRL（Follow-the-Regularized-Leader）方法，提出了一种简化证明并提供新保证的约简。第二篇论文引入了一个用于具有指示器切换成本的动态遗憾的元学习框架，实现了跟踪分段常数比较器的最小最大最优界。第三篇论文分析了上下文线性优化中遗憾的曲率，推导了一个闭式度量，并展示了其在电池套利任务中将遗憾提高30.8%的应用。
-
OWASP 发布面向 Agentic AI 应用的 Top 10 风险列表
OWASP 发布了“面向 Agentic Applications 的 Top 10”列表，详细介绍了与 AI 系统相关的十项风险。该列表于 2025 年 12 月发布，旨在强调 Agentic AI 中潜在的安全漏洞。另外，一篇文章讨论了线性回归作为一种用于建模变量之间关系的统计方法。
-
AI从业者分享关于学习、语音代理和多语言机器人的见解
几位个人正在分享他们涉及AI和机器学习的经验和项目。一位用户正在记录他成为AI/ML工程师的历程，重点关注使用NumPy理解线性回归等算法的数学基础。另一位用户开发了一个AI语音销售代理，详细介绍了其架构，该架构集成了Twilio、OpenAI的Realtime API、LangGraph以及PostgreSQL/Redis后端来处理经销商订单。第三位用户讨论了构建多语言支持机器人的挑战，强调语言检测和模型大小是关键因素，而这些因素常…
-
机器学习框架预测餐厅食物浪费
研究人员开发了一个机器学习框架，利用运营数据、天气和活动指标来估算餐厅的每日食物浪费。该研究构建了一个包含77,980条记录的数据集，并采用了四种回归模型，其中随机森林表现最佳。确定的关键预测因素包括菜单多样性、运营区域和时间活动模式。数据集、代码和实验配置均公开可用，以鼓励进一步研究，特别是使用实测浪费数据进行的研究。
-
新研究探讨神经网络泛化理论极限 · 4篇论文
四篇新研究论文深入探讨了神经网络泛化的理论基础。其中一篇论文建立了可证明的组合泛化必要且充分的条件，侧重于结构对齐和无歧义的最小化表示，并在Lean 4中进行了验证。另一篇论文分析了带权重衰减的梯度下降下的泛化动力学，分解了总体误差并界定了预测变化。第三篇论文推导了泛化差距的微分方程，适用于深度网络和光滑损失函数，并在数值实验中显示了其准确性。最后一篇论文引入了一个“规则与事实”模型，用于表征神经网络如何同时学习底层规则和记忆特定例外…
-
AI模型预测风力涡轮机功率以优化维护
研究人员开发并比较了用于预测风力涡轮机功率输出的机器学习模型，旨在优化维护计划。该研究评估了线性回归、人工神经网络和随机森林回归模型，发现人工神经网络的准确性最高，R2得分为0.98，平均绝对误差为194。该模型使用附近气象站的天气数据，显示出改进的适用性，并用于识别低功率时段，每次维护事件可能节省约2000千瓦时。
-
神经网络被解释为高级线性回归
本文解释了神经网络，尽管其复杂性，但其基础是线性回归。它详细介绍了神经网络中的每个节点如何处理输入数据并将其传递给下一个节点，从而形成从输入到输出的逻辑链。文章强调了神经网络和线性回归之间的相似性，并指出神经网络通过整合多个层来学习数据中更复杂的模式和关系，从而扩展了线性回归。
-
新的神经网络提前停止规则可绕过训练
研究人员开发了一种新的、依赖数据的神经网络训练提前停止规则，该规则可以解析地估计泛化误差，从而无需通过梯度下降进行数值估计。这个新颖的框架基于具有L1范数的Rademacher复杂度，为依赖随机矩阵理论且通常对数据分布做出限制性假设的现有方法提供了一种替代方案。该方法最初专注于线性模型，但通过线性探测可以扩展到非线性神经网络，如在MNIST分类示例中所示。
-
新研究比较了广义线性模型的MCMC、LA和VI复杂度
一篇新的arXiv论文探讨了广义线性模型中马尔可夫链蒙特卡洛（MCMC）方法的计算复杂度，并将其与拉普拉斯近似（LA）和变分推断（VI）进行了比较。研究表明，对于线性、逻辑回归和泊松回归，当样本量 $n$ 大约与维度 $d$ 成正比时，MCMC的复杂度缩放与一阶优化算法相当。这一发现表明，在比伯恩斯坦-冯·米塞斯定理先前确定的更一般的缩放条件下，MCMC在计算成本方面与LA和高斯VI具有竞争力。
-
研究论文详述线性回归模型中的“良性拟合不良”现象
一篇新的研究论文探讨了线性回归模型中“良性拟合不良”的现象，即在训练数据上表现不佳的模型仍然可以很好地泛化到新的、未见过的数据。这种情况发生在一个特定的区域，其中训练集的大小远大于维度数量，但小于直接插值所需的数量。研究表明，即使在经验训练误差很高的情况下，诸如随机梯度下降（SGD）之类的方法也可以在此预测的“第四象限”中实现较低的测试误差。
-
新研究探讨Banach空间中的最小范数插值
研究人员发表了一篇论文，在Banach空间背景下探讨了最小范数插值器（MNI）框架，特别关注了2-一致凸性的作用。这一假设比要求范数由内积诱导的限制性更小，通常意味着MNI没有封闭形式的解。该研究在此条件下为线性和非线性模型建立了MNI偏差的上限。论文证明，对于具有特定协变量分布的过参数化线性回归，该界限是尖锐的；当p在一定范围内且协变量非高斯时，也证明了$\ell_p$-MNI的尖锐泛化界限。
-
新的深度Sigma点过程增强了SAR图像RCS建模
研究人员开发了一种深度Sigma点过程（DSPP）模型，以改进星载合成孔径雷达（SAR）图像的雷达散射截面（RCS）建模。该新模型利用具有贝叶斯推断的分层高斯过程框架来预测RCS并量化相关不确定性，超越了传统的确定性方程。在RADARSAT-2数据上测试的DSPP模型，与线性回归相比表现出优越的性能，在误差减少和预测精度提高方面取得了显著成果，同时通过特征排序提供了增强的可解释性。
-
哈佛研究人员揭示预测 LLM 预训练动态的简单二次模型
哈佛大学的研究人员开发了一个简单的二次模型，可以准确预测大型语言模型在预训练过程中的优化动态。通过将泰勒定理应用于真实的神经网络检查点，他们发现展开式中的高阶项在关键的预训练窗口内贡献很小，这表明潜在的动态本质上是二次的。这个简化的模型为确定最佳停止时间、批次大小和学习率等核心预训练挑战提供了精确的见解，有效地揭示了预训练过程的本质。
-
新的模糊回归扩展增强了机器学习的可解释性
研究人员为Ex-Fuzzy库开发了一个扩展，以实现Mamdani风格的模糊回归，增强了机器学习的可解释性。该扩展采用模糊C均值聚类结合目标感知划分初始化策略，从增强的输入-输出空间中提取语言变量。在KEEL存储库的十个回归数据集上的评估表明，高斯划分在规则库紧凑的情况下实现了约0.86的平均决定系数，优于线性回归和随机森林等标准基线。