expectation–maximization algorithm
PulseAugur coverage of expectation–maximization algorithm — every cluster mentioning expectation–maximization algorithm across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
梯度EM学习高斯混合模型在高维空间中需要$\sqrt{d}$分离
一篇新的研究论文探讨了梯度期望最大化（EM）算法在高维环境中学习高斯混合模型（GMM）的局限性。研究表明，缩放为$\Omega(d^{0.5-\epsilon})$的分量分离不足以保证全局收敛，从而为此类学习建立了近乎最优的最坏情况下界。
-
新研究详细介绍Softmax混合模型的EM和MoM方法
一篇新研究论文探讨了期望最大化（EM）算法和矩量法（MoM）在Softmax混合模型（SMMs）中的应用。这些模型用于分析异质人群中的概率，并与现代LLM架构有关。研究表明，在某些分离条件下，EM算法可以有效地恢复混合成分，改进了现有高斯混合模型的分析。此外，还开发了用于参数和子空间估计的MoM程序，为EM提供了可证明的暖启动，并适用于较少组件数的情况。
-
Score Matching Linked to ML and EM in Mixed Linear Regression
研究人员在混合线性回归模型的背景下，建立了得分匹配、最大似然估计和期望最大化（EM）算法之间的理论联系。他们的分析表明，在特定条件下，得分匹配可以产生收敛到模型真实参数的估计量，这与最大似然估计的统计保证相呼应。该研究还揭示了一个将得分匹配损失与交叉熵和EM算子联系起来的分解，为这些模型的基于梯度的优化策略提供了见解。
-
新方法提升混合专家模型的效率和性能
研究人员开发了新方法来提高混合专家（MoE）模型的效率和性能。一种方法是层级分布对齐（LDA），它通过校准表示以匹配训练配置来解决推理时激活专家数量减少时发生的性能下降问题。另一种方法提出了一个广义线性专家MoE模型的正则化最大似然框架，通过近端牛顿-EM算法实现参数估计和特征选择的同步。
-
新的EM算法改进了矩阵变量模型中缺失数据的处理
研究人员开发了一种有效的期望最大化（EM）算法，用于处理矩阵变量正态混合模型中的缺失数据。该新算法通过近似条件均值和协方差，显著降低了与任意缺失模式相关的计算成本。它还包括一个针对子矩阵缺失的专用更新，该更新保持了Kronecker积结构，允许在行和列方向上进行独立更新。模拟研究表明，与精确EM相比，这些方法提供了显著的速度提升，同时保持了相似的观测数据似然度，并且该方法已在高光谱图像分析中用于同时进行插补和聚类。
-
新的CP-GAMP算法加速了贝叶斯张量重建
研究人员开发了一种名为CP广义近似消息传递（CP-GAMP）的新算法，用于贝叶斯CANDECOMP/PARAFAC（CP）分解。该方法通过采用高斯消息近似来绕过高维矩阵求逆，与传统的变分贝叶斯方法相比，显著减少了计算时间。该算法还结合了具有期望最大化更新的伯努利-高斯先验，用于估计CP秩和噪声方差，并通过合成和图像修复实验验证了其性能。
-
新的鲁棒聚类模型使用高斯-柯西混合分布进行异常值检测
研究人员开发了一种新的基于模型的聚类技术，该技术利用多元伪Voigt分布的混合。这种方法结合了高斯分布和柯西分布，以增强聚类和异常值检测的鲁棒性，特别是对于具有重尾特征的数据集。该方法采用期望最大化算法进行参数估计，并通过模拟和实际数据应用证明了其有效性，优于已有的鲁棒模型。
-
新框架通过异构专家增强可解释机器学习
研究人员通过扩展专家混合（MoE）模型，开发了一个新的可解释机器学习框架。这种新颖的方法允许异构专家，将决策树、线性支持向量机和二次判别分析与概率门控机制结合起来。该框架通过校准非概率专家以产生类别概率来确保一致的推理，从而能够在期望最大化框架内进行估计。实验表明，该方法在提供可解释的专家分配和自适应归纳偏差选择的同时，实现了具有竞争力的预测性能。
-
梯度EM算法在过参数化高斯混合模型上实现了全局收敛
研究人员为梯度期望最大化（EM）算法应用于过参数化高斯混合模型（GMMs）时建立了全局收敛保证。这是EM或其梯度变体在超出两分量特定情况之外的首个此类结果。研究表明，在轻微过参数化的情况下，即学习模型使用 $n = \Omega(m\log m)$ 个分量来拟合一个 $m$ 分量真实GMM时，随机初始化的梯度EM可以在多项式时间和样本复杂度内收敛到正确解。该分析引入了用于GMM分析的新颖工具，以表征算法动力学和似然损失景观。
-
新的 EMS Coreset 算法为机器学习提供高效数据子集选择
研究人员开发了 EMS Coreset，这是一种旨在更高效地为机器学习任务创建代表性数据集子集的新算法。该方法利用带有 Sinkhorn 正则化的期望最大化方法，允许非均匀的 coreset 权重，并提供广义的 k-means 聚类解决方案。与现有的 Wasserstein 和标准 Sinkhorn coreset 选择技术相比，该算法在近似质量和鲁棒性方面表现出竞争力，同时显著减少了计算时间，尤其是在处理大型数据集时。
-
新的老虎机算法通过奖励衰减建模解决LLM优化问题
研究人员开发了一种新的上下文老虎机算法，旨在改进大型语言模型（LLM）的迭代优化。该算法明确地对奖励衰减进行建模，解决了当静态提示或臂被反复使用时发生的过度开发问题。通过使用期望最大化（EM）算法，该方法联合估计臂特定参数和衰减参数，这与传统的线性上置信界（LinUCB）框架不同。在情感反转和GSM8K基准测试上的实验表明，与现有方法相比，性能有了显著提高。
-
新的FLAMECHE方法增强了集群联邦学习中的隐私保护
研究人员推出了一种新颖的集群联邦学习（CFL）方法FLAMECHE，该方法解决了隐私、通信成本和计算效率之间的固有权衡。FLAMECHE将基于元数据的CFL重新表述为分布式期望最大化（EM）过程，允许进行加性服务器更新，并与安全联邦学习方案兼容。实验表明，FLAMECHE提高了客户端模型的有效性，并改善了CFL三难困境的平衡。
-
新的CW-EDMD方法改进了复杂系统的Koopman算子近似 · 跟踪2个来源
研究人员开发了簇加权扩展动态模式分解（CW-EDMD），一种从数据中近似Koopman算子的新颖方法。该方法通过学习软相空间划分和每个簇的算子，解决了具有不同局部动力学系统的单一全局算子效率低下的问题。CW-EDMD利用期望最大化目标，该目标同时考虑了几何邻近性和预测残差，使簇能够专注于局部Koopman模型准确的地方。在Lorenz、阻尼摆和Duffing系统上的实验表明，与匹配度EDMD相比，误差显著降低，中位数一步误差分别降低了…
-
新的MSFA框架解决了高维空间数据聚类问题
研究人员引入了一种新颖的空间因子分析混合模型（MSFA），旨在解决高维空间数据聚类的复杂性。该框架利用基于样条的空间衰减协方差结构来管理参数膨胀，并结合矩阵变量因子分析进行降维。估计过程结合了期望最大化算法和广义最小二乘估计器。通过模拟和在包括拉曼光谱和高光谱纹理数据库在内的张量变量数据分析中的应用，证明了该方法的有效性，展示了其准确识别和区分空间模式的能力。
-
新的视觉Transformer通过聚类降低图像字幕成本
研究人员开发了一种新的视觉Transformer架构，显著降低了图像字幕的计算成本。通过用基于高斯混合模型的聚类方法替换标准的自注意力机制，该模型将相似的图像块分组，将复杂度从二次降低到线性。该方法利用期望最大化算法和基于GPT的解码器，在Flickr 30K数据集上取得了有竞争力的结果。
-
新的EM-NeSy方法增强了神经符号AI学习
研究人员推出了一种新颖的神经符号学习方法EM-NeSy，该方法将该过程构建为期望最大化（EM）算法的一个实例。这种方法允许近似推理，而无需符号组件可微，这是当前最先进模型中的一个常见限制。EM-NeSy使用基于计算出的后验的梯度下降来更新神经网络参数，并在实验中展示了可扩展性和计算效率。
-
新的 BI-BAU 方法旨在实现 AI 模型完全后门遗忘
研究人员提出了一种名为盲反演-后门对抗性遗忘 (BI-BAU) 的新方法，以解决当前 AI 模型中后门防御的局限性。该方法将后门遗忘视为持续学习中的一个顺序过程，旨在彻底消除恶意影响。BI-BAU 利用期望最大化算法解决盲反演问题，有效清除受损预训练模型中的后门，即使在非目标对抗场景和多模态任务中也是如此。
-
新的卡尔曼滤波框架在细胞复形上对复杂时间序列数据进行建模
研究人员开发了一种新的拓扑感知状态空间框架，用于从复杂的时间序列数据中推断潜在动力学。该方法利用细胞复形上的随机偏微分方程来模拟状态演化和观测，即使在部分可观测和结构未知的情况下也是如此。该方法采用扩展卡尔曼滤波器进行递归状态估计，并采用期望最大化算法进行参数学习，同时使用启发式算法来推断缺失的拓扑结构。
-
新的熵最优传输损失改进了基于模型的聚类方法
研究人员开发了一种使用熵最优传输的基于模型的聚类新损失函数。这种新方法旨在克服传统最大似然估计的局限性，后者可能存在非凸性和局部最优问题。所提出的方法通过Sinkhorn-EM算法进行优化，展示了更稳定的优化景观和与EM算法相当的收敛速度。
-
物理信息模糊聚类方法分离电离图轨迹
研究人员开发了一种新的物理信息模糊聚类方法来分析垂直探测电离图。该技术可以自动将电离图分离成不同的轨迹，即使在电离层扰动条件下，最初也不知道轨迹的数量。该模型利用期望最大化算法，并结合了与电离层层特性相关的参数，旨在提高电离图解释的准确性。