least squares method
PulseAugur coverage of least squares method — every cluster mentioning least squares method across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
Least Squares methods will be integrated into LLM-driven decision-making frameworks
The PROBE algorithm leverages OLS (a form of least squares) alongside LLMs for decision-making with costly rewards. This suggests a growing trend of integrating traditional statistical methods like least squares into more complex, LLM-powered decision systems to improve efficiency and accuracy.
Hybrid least squares/gradient descent methods will see wider adoption for complex neural network architectures
The development of a hybrid least squares/gradient descent (LSGD) method for MIONets indicates a potential for such hybrid approaches to optimize training in other complex, multilinear neural network architectures. This could lead to faster and more efficient training of specialized deep learning models.
Domain knowledge integration is enhancing traditional model selection techniques
A new framework demonstrates that incorporating domain knowledge into model selection, particularly when structured into 'Learning Spaces', can outperform standard methods like OLS. This highlights a shift towards more informed and context-aware model selection processes.
-
新框架以受音乐启发的方法解决电动汽车充电数据问题
研究人员开发了 Note-Chord-Voice 框架，这是一个受音乐理论启发的创新管道，用于解决电动汽车 (EV) 充电数据中的挑战。该框架将数据清理、结构模式发现、描述性源分离和因果推断分为不同的阶段。该框架应用于大型数据集，识别出对价格敏感的充电行为，并展示了优化折扣策略的潜力，估计每年可节省大量成本。
-
相位感知卷积神经网络推动 5G/6G 信道估计进入实时阶段 · 已追踪 2 个来源
研究人员开发了一种用于 5G 和 6G 无线系统实时信道估计的相位感知卷积神经网络 (CNN)。该方法旨在克服传统方法和现有深度学习技术在准确重建信号相位方面的局限性。该 CNN 利用正弦和余弦表示进行相位感知输入编码，并采用轻量级架构，能够在边缘设备上实现稳定的相位预测和高效的实时推理。验证包括使用开放无线接入网 (O-RAN) 测试台进行硬件在环测试，与最小二乘法和 MMSE 基线相比，证明了准确性和泛化能力的提高。
-
新的正则化方法将学习和优化相结合，以实现更好的决策
研究人员推出了一种名为决策驱动正则化的新方法，用于上下文优化问题。该方法旨在平衡预测准确性和成本最小化，解决了当学习和优化被分开处理时可能发生的过拟合问题。所提出的双目标公式概括了现有的 SPO+ 等模型，并在合成研究中证明了其性能优于 OLS、Random Forest、XGBoost 和 Perturbation Gradient 等基准。
-
大型语言模型显示出评论赞誉偏见，偏爱冷门电影而非热门电影
一项发表在arXiv上的新研究通过检查电影偏好来调查大型语言模型（LLMs）的评估倾向。研究人员发现，来自Anthropic、OpenAI、阿里巴巴集团和Mistral AI的八个模型一致偏爱评论上受赞誉但商业上冷门的电影，而非商业上成功但评论上未被认可的电影。这种评论赞誉导向随着每个家族模型规模的增大而增加。研究还表明，提示框架显著影响模型排名，这表明评论赞誉偏见可能在现实世界的LLM应用中间接体现出来。
-
均方误差：其数学起源与在优化中的作用
文章深入探讨了均方误差（MSE）的数学起源及其应用，MSE是建模和统计学中的一个基本概念。文章解释了为什么平方误差对于创建平滑、凸的损失函数至关重要，从而便于优化，防止正负误差相互抵消，并实现高效的模型训练。该文追溯了MSE的历史发展，强调了其在天文学、统计学和大地测量学等领域的根源，以及与最小二乘法等方法的联系。
-
研究发现：神经元网络在整合数据时可能做出更差的决策
一篇新论文探讨了神经元网络在合并来自不同来源的数据时如何做出更差的决策，这种现象被称为偏好逆转。研究发现，在整合数据上重新拟合模型会改变用于权衡证据的底层几何结构，可能导致先前一致的偏好发生逆转。该研究提出了衡量和缓解此问题的方法，包括用于池选择的Gram不匹配指标和训练过程中的面向几何的正则化，以及一个三阶段审计来追踪决策变化和效用损失。
-
新的SPCG方法加速线性统计模型估计
研究人员开发了一种名为序列预条件共轭梯度法（SPCG）的新型随机迭代方法，用于解决大规模线性统计模型中的普通最小二乘估计问题。该方法构建了一系列较小的、草图化的子问题，并按顺序求解，每个子问题都受益于前一个问题的解。通过在这些较小的子问题上执行大部分迭代，然后在完整规模问题上进行最终优化，这种方法显著降低了计算成本。该方法已建立收敛理论，证明与全数据PCG和迭代双草图（IDS）等现有方法相比，它能以更高的效率实现最佳预测精度。
-
神经元网络在混合数据训练时存在偏好逆转的风险
一篇新论文探讨了神经元网络在从不同来源组合数据训练时的可靠性。研究发现，混合数据可能导致偏好逆转，即模型的决策会意外改变。该研究提出了一种测量和缓解此问题的方法，包括语法不匹配测量和面向几何的正则化，以确保模型在多样化的数据输入下保持一致的决策。
-
深度无线神经网络使用MIMO中继和功率放大器
研究人员开发了一种新颖的深度无线物理神经网络（WPNN），它将计算直接嵌入模拟硬件中，旨在降低能耗和延迟。该WPNN利用多跳MIMO中继网络，其中功率放大器充当激活函数，从而能够对网络的参数进行端到端训练。基于信道状态信息的可获得性，提出了两种收发器设计，并通过仿真演示了准确的空中图像分类，突出了硬件非线性对增强推理的好处。
-
新框架精确模拟高维多类SGD动力学
研究人员开发了一个新框架，用于分析高维设置下多类随机梯度下降（SGD）的学习动力学。该框架提供了关键指标（如风险和信号重叠）的精确表达式，这些表达式在高维极限下表示为常微分方程的确定性系统。这种方法适用于广泛的优化问题，并能适应类别数量随维度增加的情况。该研究详细介绍了数据各向异性对二元逻辑回归和最小二乘损失的影响，确定了后者的学习率阈值以及前者的结构相变，尤其是在具有稀疏协方差矩阵的模型中。
-
新理论可实现对神经网络决策的精确审计
研究人员开发了一种新的方法来审计神经网络决策，通过将行动分数分解为训练案例回报的加权总和。这种方法基于案例决策理论（CBDT），可以将分数追溯到特定的训练数据并衡量行动的一致性。该方法在合成CBDT、PJM、Adult Income和Default Credit任务上进行了测试，证明了其恢复案例级别偏好结构和提供稳健审计信号的能力。
-
梯度下降理论扩展至复杂最小值和向量输出
本文将大步长梯度下降（GD）的理论扩展到更复杂的场景。它解决了具有向量值输出的过参数化最小二乘问题，并分析了平坦最小值流形的邻域，这对矩阵分解等应用至关重要。该研究推广了现有的范式和收敛定理，并引入了一种求解奇异偏微分方程的新方法。
-
新的混合方法加速 MIONet 训练
研究人员引入了一种新颖的混合最小二乘法/梯度下降法 (LSGD)，旨在加速 MIONets 的训练。该方法将现有的用于 DeepONets 的 LSGD 技术进行了扩展。该方法将 MIONets 视为多线性函数，通过对单个分支网络进行交替最小二乘法过程来优化参数。为了处理大型系统矩阵，该技术利用 Kronecker 和 Khatri-Rao 积以及张量置换矩阵进行高效分解。
-
新的PROBE算法利用LLM改进成本高昂的决策制定
研究人员开发了一种名为PROBE（Proxy OLS for Best-arm Exploration）的新算法，用于改进在奖励观察成本高昂时的决策制定。该算法利用来自机器学习和大型语言模型的廉价、相关的代理分数以及实际奖励数据。PROBE能有效地学习代理与奖励之间的相关性，与传统方法相比，尤其是在相关性较强的情况下，能显著节省样本。数值实验证明了其在汽车贷款定价等场景中的有效性。
-
新的 CaSPECT 框架使用有向谱聚类识别因果子群
研究人员推出 CaSPECT，一个新颖的因果谱聚类框架，旨在识别观察数据中的因果同质子群。与在协变量空间中进行聚类的传统方法不同，CaSPECT 利用学习到的有向无环图 (DAG) 的拓扑结构来定义相似性。该框架采用引导稳定 PC 算法进行因果骨架恢复，并使用新的定向验证分数 (OVS) 来稳健地定向边，结合了 PC 引导证据和 DirectLiNGAM。边权重由通过普通最小二乘法或双机器学习估计的平均处理效应决定，有向拉普拉斯算子提…
-
新框架利用领域知识增强模型选择
一篇新论文介绍了一个用于模型选择的理论框架，该框架使用交叉验证，特别是在纳入领域知识时。该研究为整个学习流程建立了基于VC维度的偏差界，扩展了无界损失函数的现有结果。它提出了“学习空间”来根据领域知识构建候选模型，并证明了在处理高维线性回归时，适应良好的学习空间可以显著优于OLS、LASSO和岭回归等标准方法。
-
新研究探讨过参数化模型中的良性过拟合
一篇新研究论文探讨了过参数化统计模型中良性过拟合的现象，重点关注普通最小二乘（OLS）插值器。该研究为最小 $\ell_2$-范数 OLS 插值器推导了新的代数和统计结果，将重点从预测风险转移到参数估计和推断。主要贡献包括已建立的统计公式的过参数化类似物以及方差估计的分析，为理解过参数化线性模型中的参数估计提供了框架。
-
OLS线性回归解析：简单与多元方法
本文解释了简单和多元线性回归的概念，重点介绍了普通最小二乘法（OLS）。它旨在通过对这些基础技术的综合解释来揭开机器学习的神秘面纱。作者引导读者理解线性回归如何找到最佳拟合线或超平面以最小化预测误差的数学推导和直观理解。
-
SHIFT估计器改进了重尾数据的鲁棒双重机器学习
研究人员开发了SHIFT，一种用于双重机器学习（DML）管道的新型鲁棒估计器，旨在处理重尾数据污染。SHIFT结合了交叉拟合干扰正交化、核局部Welsch损失第二阶段和防御性普通最小二乘法重新拟合。该方法在存在异常值的情况下显著提高了准确性，在压力测试中将均方根误差（RMSE）从1.03降低到0.33，并实现了异常值掩码恢复的高F1分数。
-
AI方法增强了线性回归模型中的变量选择
研究人员开发了一种新颖的人工智能方法，用于线性回归模型中的变量选择。该方法利用一个人工神经网络（ANN），该网络经过训练，可根据普通最小二乘（OLS）估计值评估变量的重要性。一项模拟研究证明了ANN的准确性，并将其性能与前向/后向选择、AIC、BIC和LASSO等传统技术进行了比较。该方法还通过世界卫生组织关于预期寿命的数据集进行了说明，并在GitHub上提供了代码和预先训练的ANN。