expectation–maximization algorithm
PulseAugur coverage of expectation–maximization algorithm — every cluster mentioning expectation–maximization algorithm across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新框架通过异构专家增强可解释机器学习
研究人员通过扩展专家混合（MoE）模型，开发了一个新的可解释机器学习框架。这种新颖的方法允许异构专家，将决策树、线性支持向量机和二次判别分析与概率门控机制结合起来。该框架通过校准非概率专家以产生类别概率来确保一致的推理，从而能够在期望最大化框架内进行估计。实验表明，该方法在提供可解释的专家分配和自适应归纳偏差选择的同时，实现了具有竞争力的预测性能。
-
梯度EM算法在过参数化高斯混合模型上实现了全局收敛
研究人员为梯度期望最大化（EM）算法应用于过参数化高斯混合模型（GMMs）时建立了全局收敛保证。这是EM或其梯度变体在超出两分量特定情况之外的首个此类结果。研究表明，在轻微过参数化的情况下，即学习模型使用 $n = \Omega(m\log m)$ 个分量来拟合一个 $m$ 分量真实GMM时，随机初始化的梯度EM可以在多项式时间和样本复杂度内收敛到正确解。该分析引入了用于GMM分析的新颖工具，以表征算法动力学和似然损失景观。
-
新的 EMS Coreset 算法为机器学习提供高效数据子集选择
研究人员开发了 EMS Coreset，这是一种旨在更高效地为机器学习任务创建代表性数据集子集的新算法。该方法利用带有 Sinkhorn 正则化的期望最大化方法，允许非均匀的 coreset 权重，并提供广义的 k-means 聚类解决方案。与现有的 Wasserstein 和标准 Sinkhorn coreset 选择技术相比，该算法在近似质量和鲁棒性方面表现出竞争力，同时显著减少了计算时间，尤其是在处理大型数据集时。
-
新的老虎机算法通过奖励衰减建模解决LLM优化问题
研究人员开发了一种新的上下文老虎机算法，旨在改进大型语言模型（LLM）的迭代优化。该算法明确地对奖励衰减进行建模，解决了当静态提示或臂被反复使用时发生的过度开发问题。通过使用期望最大化（EM）算法，该方法联合估计臂特定参数和衰减参数，这与传统的线性上置信界（LinUCB）框架不同。在情感反转和GSM8K基准测试上的实验表明，与现有方法相比，性能有了显著提高。
-
新的FLAMECHE方法增强了集群联邦学习中的隐私保护
研究人员推出了一种新颖的集群联邦学习（CFL）方法FLAMECHE，该方法解决了隐私、通信成本和计算效率之间的固有权衡。FLAMECHE将基于元数据的CFL重新表述为分布式期望最大化（EM）过程，允许进行加性服务器更新，并与安全联邦学习方案兼容。实验表明，FLAMECHE提高了客户端模型的有效性，并改善了CFL三难困境的平衡。
-
新的CW-EDMD方法改进了复杂系统的Koopman算子近似 · 跟踪2个来源
研究人员开发了簇加权扩展动态模式分解（CW-EDMD），一种从数据中近似Koopman算子的新颖方法。该方法通过学习软相空间划分和每个簇的算子，解决了具有不同局部动力学系统的单一全局算子效率低下的问题。CW-EDMD利用期望最大化目标，该目标同时考虑了几何邻近性和预测残差，使簇能够专注于局部Koopman模型准确的地方。在Lorenz、阻尼摆和Duffing系统上的实验表明，与匹配度EDMD相比，误差显著降低，中位数一步误差分别降低了…
-
新的MSFA框架解决了高维空间数据聚类问题
研究人员引入了一种新颖的空间因子分析混合模型（MSFA），旨在解决高维空间数据聚类的复杂性。该框架利用基于样条的空间衰减协方差结构来管理参数膨胀，并结合矩阵变量因子分析进行降维。估计过程结合了期望最大化算法和广义最小二乘估计器。通过模拟和在包括拉曼光谱和高光谱纹理数据库在内的张量变量数据分析中的应用，证明了该方法的有效性，展示了其准确识别和区分空间模式的能力。
-
新的视觉Transformer通过聚类降低图像字幕成本
研究人员开发了一种新的视觉Transformer架构，显著降低了图像字幕的计算成本。通过用基于高斯混合模型的聚类方法替换标准的自注意力机制，该模型将相似的图像块分组，将复杂度从二次降低到线性。该方法利用期望最大化算法和基于GPT的解码器，在Flickr 30K数据集上取得了有竞争力的结果。
-
新的EM-NeSy方法增强了神经符号AI学习
研究人员推出了一种新颖的神经符号学习方法EM-NeSy，该方法将该过程构建为期望最大化（EM）算法的一个实例。这种方法允许近似推理，而无需符号组件可微，这是当前最先进模型中的一个常见限制。EM-NeSy使用基于计算出的后验的梯度下降来更新神经网络参数，并在实验中展示了可扩展性和计算效率。
-
新的 BI-BAU 方法旨在实现 AI 模型完全后门遗忘
研究人员提出了一种名为盲反演-后门对抗性遗忘 (BI-BAU) 的新方法，以解决当前 AI 模型中后门防御的局限性。该方法将后门遗忘视为持续学习中的一个顺序过程，旨在彻底消除恶意影响。BI-BAU 利用期望最大化算法解决盲反演问题，有效清除受损预训练模型中的后门，即使在非目标对抗场景和多模态任务中也是如此。
-
新的卡尔曼滤波框架在细胞复形上对复杂时间序列数据进行建模
研究人员开发了一种新的拓扑感知状态空间框架，用于从复杂的时间序列数据中推断潜在动力学。该方法利用细胞复形上的随机偏微分方程来模拟状态演化和观测，即使在部分可观测和结构未知的情况下也是如此。该方法采用扩展卡尔曼滤波器进行递归状态估计，并采用期望最大化算法进行参数学习，同时使用启发式算法来推断缺失的拓扑结构。
-
新的熵最优传输损失改进了基于模型的聚类方法
研究人员开发了一种使用熵最优传输的基于模型的聚类新损失函数。这种新方法旨在克服传统最大似然估计的局限性，后者可能存在非凸性和局部最优问题。所提出的方法通过Sinkhorn-EM算法进行优化，展示了更稳定的优化景观和与EM算法相当的收敛速度。
-
物理信息模糊聚类方法分离电离图轨迹
研究人员开发了一种新的物理信息模糊聚类方法来分析垂直探测电离图。该技术可以自动将电离图分离成不同的轨迹，即使在电离层扰动条件下，最初也不知道轨迹的数量。该模型利用期望最大化算法，并结合了与电离层层特性相关的参数，旨在提高电离图解释的准确性。
-
新的HPPCA模型改进了带缺失值的纵向数据分析
研究人员开发了分层概率主成分分析（HPPCA），这是一种新颖的统计模型，旨在处理带有缺失值的复杂纵向数据。这个两层概率因子模型有效地将受试者间的方差与随时间变化的受试者内动态分离开来，并利用高斯过程处理受试者内的潜在因子。与标准的PPCA和多元函数PCA等现有方法相比，HPPCA在插补准确性和参数恢复方面表现出优越的性能，即使在存在大量缺失值的情况下也是如此。将其应用于长新冠症状数据表明，HPPCA能够捕捉分层结构并改进临床结果预测。