maximum likelihood estimation
PulseAugur coverage of maximum likelihood estimation — every cluster mentioning maximum likelihood estimation across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新框架统一了正态均值问题中的收缩和阈值估计器
研究人员开发了一个用于正态均值估计问题中近似风险最小化的新框架，并引入了一个名为 NOMAD 的估计器。该框架统一了包括 James-Stein 和 lasso 类型估计器在内的各种收缩和阈值规则，并扩展到相关观测和线性回归。NOMAD 估计器旨在最小化从观测数据派生的近似风险标准，为正则化提供了一种数据驱动的方法。
-
研究发现贝叶斯优化需要最优初始点
一篇新的arXiv论文探讨了贝叶斯优化（BO）所需的最佳初始点数量。研究表明，寻找全局最优值的总成本与初始批次大小（$n_0$）之间存在U形关系，这意味着过少或过多的初始点都会导致资源浪费。这种现象归因于BO在向内聚焦之前倾向于探索超立方体的边界。该研究提出了实际建议，包括在可用时使用多步前瞻BO，在无法调整$n_0$时使用Thompson采样，以及在可以调整时使用更大的$n_0$。
-
新研究将最大似然估计与机器学习算法中的控制变量联系起来
研究人员在机器学习的草图算法中，建立了最大似然估计（MLE）与控制变量估计器（CVE）之间的理论等价性。这种在指数族特定条件下证明的等价性表明，最优的CVE可以达到与MLE相同的渐近方差，从而为MLE提供一种不动点算法。实验结果表明，与传统的MLE求根方法相比，这种不动点方法在速度和数值稳定性方面都有所提高，尤其是在双变量正态分布的情况下。
-
新的梯度下降方案改进了 MMD 估计
研究人员引入了一种新的预条件梯度下降 (PGD) 方案，以解决最小最大均值差异 (MMD) 估计中优化问题理解不足的问题。这种新颖的方法在特定的梯度优势和投影残差条件下建立了全局收敛性，其灵感来源于 MMD 梯度流。实证结果表明，PGD 方案在各种参数估计和假设检验任务中优于标准的梯度下降。
-
新的目标化高度自适应套索方法改进了统计估计
研究人员引入了一种名为目标化高度自适应套索（Targeted HAL）的新统计方法，用于估计非路径可微函数参数，例如剂量-反应曲线。该方法利用样条基函数和LASSO步骤来逼近目标函数，旨在提高准确性和数据自适应推断。模拟表明，Targeted HAL在偏差和均方误差方面优于现有的HAL插件估计器，提供了一种灵活的方法，而无需参数假设。
-
新的风险对齐框架改进了AI模型校准
研究人员引入了风险对齐（RA），一个用于在核密度估计（KDE）中选择最优带宽以进行模型校准的新框架。最大似然估计（MLE）等标准方法在校准任务中常常表现不佳。RA旨在通过将KDE重建风险与经验风险对齐来提高可靠性，理论上可最小化校准估计偏差。实验表明，RA在各种架构和数据集上始终优于现有方法。
-
新的风险对齐框架改进深度学习模型校准
研究人员开发了一个名为风险对齐（RA）的新框架，以改进深度学习模型的校准，这对于高风险应用至关重要。RA解决了为核密度估计（KDE）选择最优核带宽的挑战，KDE是一种用于量化模型失校准的方法。与最大似然估计（MLE）等传统方法不同，RA将重构风险与经验风险对齐，以最小化校准偏差。实验表明，RA在各种模型架构和数据集上提供更可靠的校准评估方面，始终优于现有方法。
-
新的 XMSE 感知混合估计器融合了机器学习和经验贝叶斯
研究人员开发了一种新颖的 XMSE 感知混合估计器，该估计器在最大似然 (ML) 和经验贝叶斯 (EB) 收缩之间进行插值。该方法旨在改进现有的 EB 估计器，当其核与真实参数不对齐时，EB 估计器可能表现不如 ML。所提出的方法使用固定的 XMSE 来推导一个最优混合权重，确保其性能不劣于 ML 或基础 EB 估计器。基于有限样本 XMSE 近似的即插即用实现被证明是一致的，并提供了二阶最优遗憾率。
-
新攻击揭示常见 AI 排名系统的漏洞
研究人员发现基于最大似然估计 (MLE) 的排名系统（如 Bradley-Terry 模型）存在重大漏洞，这类系统常用于汇总成对比较的偏好。一项新研究提出了一种自适应子集选择攻击 (ASSA)，可以有效地找到高影响力的扰动数据。在合成和真实世界选举数据上的实验表明，即使是少数战略性选民也能在最小扰动预算之外大幅改变排名，其效果优于随机和贪婪方法。
-
新论文探索最优传输在机器学习推理中的应用
两篇新的arXiv论文探讨了机器学习中的高级推理技术。其中一篇论文对无似然推理方法进行了基准测试，评估了它们在处理重尾和离散数据时的性能。另一篇论文则将最大似然法与最优传输相结合，用于随机块模型中的高效推理和模型选择，提出了一种用于同时恢复参数和选择聚类数量的正则化方法。
-
研究人员详述了依赖高斯混合模型中社群侦测的精确恢复
本文研究了高斯混合模型中社群侦测的精确恢复问题。研究聚焦于具有依赖性和异质性高斯噪声的场景，其中噪声协方差矩阵可以是不可对角化的，甚至是奇异的。作者推导出了最大似然估计器精确恢复的充分条件，该条件受“\Sigma-白化分离”度量和局部比较不等式的影响。
-
新的“更嘈杂”NCE方法改进了AI模型的密度比估计
研究人员开发了一种名为“更嘈杂”NCE的改进噪声对比估计（NCE）技术，该技术解决了复杂数据集密度比估计中的局限性。通过人为增加噪声幅度，该方法使NCE梯度更接近最大似然估计（MLE），从而实现更快的收敛和更好的性能。该方法在图像建模、异常检测和离线优化方面取得了成功，在ImageNet64x64等数据集上取得了最先进的成果，并显著减少了训练迭代次数。