least squares method
PulseAugur coverage of least squares method — every cluster mentioning least squares method across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
Least Squares methods will be integrated into LLM-driven decision-making frameworks
The PROBE algorithm leverages OLS (a form of least squares) alongside LLMs for decision-making with costly rewards. This suggests a growing trend of integrating traditional statistical methods like least squares into more complex, LLM-powered decision systems to improve efficiency and accuracy.
Hybrid least squares/gradient descent methods will see wider adoption for complex neural network architectures
The development of a hybrid least squares/gradient descent (LSGD) method for MIONets indicates a potential for such hybrid approaches to optimize training in other complex, multilinear neural network architectures. This could lead to faster and more efficient training of specialized deep learning models.
Domain knowledge integration is enhancing traditional model selection techniques
A new framework demonstrates that incorporating domain knowledge into model selection, particularly when structured into 'Learning Spaces', can outperform standard methods like OLS. This highlights a shift towards more informed and context-aware model selection processes.
-
贝叶斯神经网络：似然退火影响分析
研究人员调查了似然退火对变分贝叶斯线性神经网络的影响。他们发现，在宽网络中，高斯均场变分推断会导致“先验主导”，即随着网络宽度的增加，变分预测分布会折叠到先验预测分布。该研究推导了具有各向同性高斯先验的单隐藏层线性网络的极限预测分布在特定退火计划下的情况，揭示了不同尺度下预测期望和方差的相变。研究结果表明，通过适当选择退火参数，可以恢复神经网络高斯过程的后验期望或方差。
-
用于压缩Sigmoid神经网络的新神经元合并技术
研究人员开发了用于压缩已训练神经网络的新方法，重点关注Sigmoid网络。所提出的技术涉及神经元聚类和基于其响应的合并。一种方法使用无数据贡献加权平均，另一种方法通过逆激活函数将神经元响应映射回预激活空间，利用最小二乘法估计代表性神经元权重和偏置。研究了数据辅助和无数据策略，研究结果表明权重信息对于聚类至关重要，而激活信息是合并过程中代表性神经元重建的关键。
-
研究审计OpenAI CLIP在博物馆艺术数据中的偏见
一项新近发表在arXiv上的研究，通过使用大都会艺术博物馆的艺术品元数据审计OpenAI CLIP模型，来调查视觉语言模型（VLMs）中的算法偏见。该研究开发了一个量化框架，用于评估零样本CLIP对数差分分数，并控制了艺术品媒介、创作时代和长宽比等因素。研究结果表明，艺术家性别对模型分数没有统计学上显著的条件效应，这表明广泛的零样本提示差分是一种粗略的测量方法，并不能明确证明模型的公平性。
-
新研究分析RAG-FT的训练稳定性和噪声
一篇题为“检索引导微调作为噪声估计：风险界限和架构分析”的新研究论文，探讨了检索引导微调（RAG-FT）模型训练过程中检索数据噪声的统计影响。该研究将RAG-FT建模为一个多任务线性回归问题，在同方差检索噪声下推导出风险界限。它引入了一个距离比例噪声（DPN）模型，并将普通最小二乘法（OLS）与字面线性自注意力估计器进行了比较，发现后者即使在检索精确的情况下偏差也会发散，而OLS的风险保持稳定。
-
AI框架分析城市出行和土地利用相互作用
研究人员开发了先进的AI框架来分析城市出行模式及其与土地利用的相互作用。一项研究提出了一个GeoAI混合框架，集成了MGWR、Random Forest和ST-GCN来模拟不同交通模式的交通流，实现了高精度并优于基准。另一种方法使用一个具有不确定性感知和物理信息感知的框架，从聚合计数推断出行起点-终点矩阵，减少对个体追踪的依赖，并实现更具可部署性的城市智能。
-
因果推断研究质疑预测误差作为唯一性能指标
一篇新研究论文探讨了在因果推断中使用预测误差来评估干扰函数估计器的局限性。该研究模拟了部分线性模型，比较了OLS、GAMs、XGBoost和DML-XGBoost等方法。结果表明，虽然XGBoost在非oracle方法中显示出最低的RMSE，并且DML-XGBoost提供了更好的置信区间覆盖率，但预测误差与因果偏差或置信区间覆盖质量并不总是相关。研究表明，预测误差对于评估干扰函数估计是有用的，但不应作为因果估计器性能的唯一指标。
-
面向体积采样最小二乘的新几何方法
本文深入探讨了统计机器学习中协方差矩阵的几何性质，特别关注体积采样最小二乘。研究人员 Derezinski 和 Warmuth 建立了基础采样恒等式和无偏性性质。当前工作通过定义系数协方差的尖锐 Loewner 包络来扩展这一领域，该包络被证明在各种条件下全局尖锐。本文还引入了一个仅特征的几何条件，该条件确定了精确的光谱相位，表明在兼容残差下，光谱包络何时是严格或收紧的。
-
新算法使用Hadamard和高斯池化加速\(\ell_2\)回归
研究人员开发了一种新的随机草图求解算法，用于加速超约束\(\ell_2\)回归。该算法引入了一种新颖的、快速的、稠密的随机变换，该变换结合了Hadamard展平、随机置换和高斯池化。这种新方法实现了\(\ell_\infty\)保证，具有\(m=O(\epsilon^{-2}d\log d)\)行，解决了先前工作中发现的独立性假设缺陷。
-
新AI框架CareGraph组织健康数据以实现个性化护理
研究人员开发了CareGraph，一个新颖的混合人工智能框架，旨在处理和解释复杂的健康数据。该系统旨在将来自临床、自我报告和可穿戴设备来源的证据组织成优先趋势和可操作的见解，而无需做出临床决策。CareGraph采用了一个包含确定性分析、上下文检测、图构建和约束语言模型合成的管道，并纳入了安全控制和发布门控。对合成患者队列的初步测试表明，它在准确性、F1分数和缺失上下文检测方面表现出色，在速度和输出简洁性方面优于单一的GPT-5.6模型。
-
新框架以受音乐启发的方法解决电动汽车充电数据问题
研究人员开发了 Note-Chord-Voice 框架，这是一个受音乐理论启发的创新管道，用于解决电动汽车 (EV) 充电数据中的挑战。该框架将数据清理、结构模式发现、描述性源分离和因果推断分为不同的阶段。该框架应用于大型数据集，识别出对价格敏感的充电行为，并展示了优化折扣策略的潜力，估计每年可节省大量成本。
-
相位感知卷积神经网络推动 5G/6G 信道估计进入实时阶段 · 已追踪 2 个来源
研究人员开发了一种用于 5G 和 6G 无线系统实时信道估计的相位感知卷积神经网络 (CNN)。该方法旨在克服传统方法和现有深度学习技术在准确重建信号相位方面的局限性。该 CNN 利用正弦和余弦表示进行相位感知输入编码，并采用轻量级架构，能够在边缘设备上实现稳定的相位预测和高效的实时推理。验证包括使用开放无线接入网 (O-RAN) 测试台进行硬件在环测试，与最小二乘法和 MMSE 基线相比，证明了准确性和泛化能力的提高。
-
新的正则化方法将学习和优化相结合，以实现更好的决策
研究人员推出了一种名为决策驱动正则化的新方法，用于上下文优化问题。该方法旨在平衡预测准确性和成本最小化，解决了当学习和优化被分开处理时可能发生的过拟合问题。所提出的双目标公式概括了现有的 SPO+ 等模型，并在合成研究中证明了其性能优于 OLS、Random Forest、XGBoost 和 Perturbation Gradient 等基准。
-
大型语言模型显示出评论赞誉偏见，偏爱冷门电影而非热门电影
一项发表在arXiv上的新研究通过检查电影偏好来调查大型语言模型（LLMs）的评估倾向。研究人员发现，来自Anthropic、OpenAI、阿里巴巴集团和Mistral AI的八个模型一致偏爱评论上受赞誉但商业上冷门的电影，而非商业上成功但评论上未被认可的电影。这种评论赞誉导向随着每个家族模型规模的增大而增加。研究还表明，提示框架显著影响模型排名，这表明评论赞誉偏见可能在现实世界的LLM应用中间接体现出来。
-
均方误差：其数学起源与在优化中的作用
文章深入探讨了均方误差（MSE）的数学起源及其应用，MSE是建模和统计学中的一个基本概念。文章解释了为什么平方误差对于创建平滑、凸的损失函数至关重要，从而便于优化，防止正负误差相互抵消，并实现高效的模型训练。该文追溯了MSE的历史发展，强调了其在天文学、统计学和大地测量学等领域的根源，以及与最小二乘法等方法的联系。
-
研究发现：神经元网络在整合数据时可能做出更差的决策
一篇新论文探讨了神经元网络在合并来自不同来源的数据时如何做出更差的决策，这种现象被称为偏好逆转。研究发现，在整合数据上重新拟合模型会改变用于权衡证据的底层几何结构，可能导致先前一致的偏好发生逆转。该研究提出了衡量和缓解此问题的方法，包括用于池选择的Gram不匹配指标和训练过程中的面向几何的正则化，以及一个三阶段审计来追踪决策变化和效用损失。
-
新的SPCG方法加速线性统计模型估计
研究人员开发了一种名为序列预条件共轭梯度法（SPCG）的新型随机迭代方法，用于解决大规模线性统计模型中的普通最小二乘估计问题。该方法构建了一系列较小的、草图化的子问题，并按顺序求解，每个子问题都受益于前一个问题的解。通过在这些较小的子问题上执行大部分迭代，然后在完整规模问题上进行最终优化，这种方法显著降低了计算成本。该方法已建立收敛理论，证明与全数据PCG和迭代双草图（IDS）等现有方法相比，它能以更高的效率实现最佳预测精度。
-
神经元网络在混合数据训练时存在偏好逆转的风险
一篇新论文探讨了神经元网络在从不同来源组合数据训练时的可靠性。研究发现，混合数据可能导致偏好逆转，即模型的决策会意外改变。该研究提出了一种测量和缓解此问题的方法，包括语法不匹配测量和面向几何的正则化，以确保模型在多样化的数据输入下保持一致的决策。
-
深度无线神经网络使用MIMO中继和功率放大器
研究人员开发了一种新颖的深度无线物理神经网络（WPNN），它将计算直接嵌入模拟硬件中，旨在降低能耗和延迟。该WPNN利用多跳MIMO中继网络，其中功率放大器充当激活函数，从而能够对网络的参数进行端到端训练。基于信道状态信息的可获得性，提出了两种收发器设计，并通过仿真演示了准确的空中图像分类，突出了硬件非线性对增强推理的好处。
-
新框架精确模拟高维多类SGD动力学
研究人员开发了一个新框架，用于分析高维设置下多类随机梯度下降（SGD）的学习动力学。该框架提供了关键指标（如风险和信号重叠）的精确表达式，这些表达式在高维极限下表示为常微分方程的确定性系统。这种方法适用于广泛的优化问题，并能适应类别数量随维度增加的情况。该研究详细介绍了数据各向异性对二元逻辑回归和最小二乘损失的影响，确定了后者的学习率阈值以及前者的结构相变，尤其是在具有稀疏协方差矩阵的模型中。
-
新理论可实现对神经网络决策的精确审计
研究人员开发了一种新的方法来审计神经网络决策，通过将行动分数分解为训练案例回报的加权总和。这种方法基于案例决策理论（CBDT），可以将分数追溯到特定的训练数据并衡量行动的一致性。该方法在合成CBDT、PJM、Adult Income和Default Credit任务上进行了测试，证明了其恢复案例级别偏好结构和提供稳健审计信号的能力。