least squares method
PulseAugur coverage of least squares method — every cluster mentioning least squares method across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
梯度下降理论扩展至复杂最小值和向量输出
本文将大步长梯度下降（GD）的理论扩展到更复杂的场景。它解决了具有向量值输出的过参数化最小二乘问题，并分析了平坦最小值流形的邻域，这对矩阵分解等应用至关重要。该研究推广了现有的范式和收敛定理，并引入了一种求解奇异偏微分方程的新方法。
-
新的混合方法加速 MIONet 训练
研究人员引入了一种新颖的混合最小二乘法/梯度下降法 (LSGD)，旨在加速 MIONets 的训练。该方法将现有的用于 DeepONets 的 LSGD 技术进行了扩展。该方法将 MIONets 视为多线性函数，通过对单个分支网络进行交替最小二乘法过程来优化参数。为了处理大型系统矩阵，该技术利用 Kronecker 和 Khatri-Rao 积以及张量置换矩阵进行高效分解。
-
新的PROBE算法利用LLM改进成本高昂的决策制定
研究人员开发了一种名为PROBE（Proxy OLS for Best-arm Exploration）的新算法，用于改进在奖励观察成本高昂时的决策制定。该算法利用来自机器学习和大型语言模型的廉价、相关的代理分数以及实际奖励数据。PROBE能有效地学习代理与奖励之间的相关性，与传统方法相比，尤其是在相关性较强的情况下，能显著节省样本。数值实验证明了其在汽车贷款定价等场景中的有效性。
-
新的 CaSPECT 框架使用有向谱聚类识别因果子群
研究人员推出 CaSPECT，一个新颖的因果谱聚类框架，旨在识别观察数据中的因果同质子群。与在协变量空间中进行聚类的传统方法不同，CaSPECT 利用学习到的有向无环图 (DAG) 的拓扑结构来定义相似性。该框架采用引导稳定 PC 算法进行因果骨架恢复，并使用新的定向验证分数 (OVS) 来稳健地定向边，结合了 PC 引导证据和 DirectLiNGAM。边权重由通过普通最小二乘法或双机器学习估计的平均处理效应决定，有向拉普拉斯算子提…
-
新框架利用领域知识增强模型选择
一篇新论文介绍了一个用于模型选择的理论框架，该框架使用交叉验证，特别是在纳入领域知识时。该研究为整个学习流程建立了基于VC维度的偏差界，扩展了无界损失函数的现有结果。它提出了“学习空间”来根据领域知识构建候选模型，并证明了在处理高维线性回归时，适应良好的学习空间可以显著优于OLS、LASSO和岭回归等标准方法。
-
新研究探讨过参数化模型中的良性过拟合
一篇新研究论文探讨了过参数化统计模型中良性过拟合的现象，重点关注普通最小二乘（OLS）插值器。该研究为最小 $\ell_2$-范数 OLS 插值器推导了新的代数和统计结果，将重点从预测风险转移到参数估计和推断。主要贡献包括已建立的统计公式的过参数化类似物以及方差估计的分析，为理解过参数化线性模型中的参数估计提供了框架。
-
OLS线性回归解析：简单与多元方法
本文解释了简单和多元线性回归的概念，重点介绍了普通最小二乘法（OLS）。它旨在通过对这些基础技术的综合解释来揭开机器学习的神秘面纱。作者引导读者理解线性回归如何找到最佳拟合线或超平面以最小化预测误差的数学推导和直观理解。
-
SHIFT估计器改进了重尾数据的鲁棒双重机器学习
研究人员开发了SHIFT，一种用于双重机器学习（DML）管道的新型鲁棒估计器，旨在处理重尾数据污染。SHIFT结合了交叉拟合干扰正交化、核局部Welsch损失第二阶段和防御性普通最小二乘法重新拟合。该方法在存在异常值的情况下显著提高了准确性，在压力测试中将均方根误差（RMSE）从1.03降低到0.33，并实现了异常值掩码恢复的高F1分数。
-
AI方法增强了线性回归模型中的变量选择
研究人员开发了一种新颖的人工智能方法，用于线性回归模型中的变量选择。该方法利用一个人工神经网络（ANN），该网络经过训练，可根据普通最小二乘（OLS）估计值评估变量的重要性。一项模拟研究证明了ANN的准确性，并将其性能与前向/后向选择、AIC、BIC和LASSO等传统技术进行了比较。该方法还通过世界卫生组织关于预期寿命的数据集进行了说明，并在GitHub上提供了代码和预先训练的ANN。