Gaussian Mixture Models
PulseAugur coverage of Gaussian Mixture Models — every cluster mentioning Gaussian Mixture Models across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
对抗性训练使线性 Transformer 具备鲁棒的上下文内学习能力
一篇新的研究论文探讨了对抗性训练在大型语言模型中实现鲁棒的上下文内学习的有效性。研究表明，在广泛任务上经过对抗性预训练的模型，可以通过上下文内学习在新的、未见过任务上实现最佳鲁棒性，而无需进一步进行特定任务的对抗性训练。这与标准训练的模型形成对比，后者无法在新的任务上达到相同的鲁棒性水平。该研究分析了收敛特性、准确性-鲁棒性权衡以及有效上下文内学习所需的演示复杂度。
-
新方法通过约束高斯混合模型增强稀有事件概率估计
研究人员开发了一个新的框架，使用重要性采样来估计稀有事件的概率，旨在提高现有方法的效率和鲁棒性。该方法将问题分为覆盖和拟合阶段，并约束高斯混合模型（GMM）提案以确保有限方差。实验表明，在其他方法经常失败的高维和多模态场景中，方差显著降低且成本效益高。
-
梯度EM学习高斯混合模型在高维空间中需要$\sqrt{d}$分离
一篇新的研究论文探讨了梯度期望最大化（EM）算法在高维环境中学习高斯混合模型（GMM）的局限性。研究表明，缩放为$\Omega(d^{0.5-\epsilon})$的分量分离不足以保证全局收敛，从而为此类学习建立了近乎最优的最坏情况下界。
-
新方法在 অবস্থ混合模型中实现多对数稀疏性
一篇新的研究论文介绍了一种在高斯混合模型中实现多对数稀疏性的方法。该技术涉及对似然函数进行小的随机扰动，从而产生一个独特且稀疏的估计器，与传统方法相比，其原子数量大大减少。研究结果表明，这种随机重加权的NPMLE可以在接近参数化的速率下估计混合密度，同时保持与普通NPMLE相当的支持大小。
-
新方法实现机器学习的可微期望最大化
研究人员开发了新方法，使期望最大化（EM）算法（如高斯混合模型（GMM）等统计和机器学习任务的常用工具）能够进行端到端梯度传播。这一进展使得EM能够集成到现代学习流程中。该工作还引入了一种可微EM的新应用，用于计算GMM之间的混合Wasserstein距离（$\mathrm{MW}_2$），使其能够用作各种成像和机器学习应用（包括图像生成和纹理合成）中的可微损失函数。
-
新算法提高了精确欧氏K均值聚类的效率
研究人员开发了一种名为支架约束子集动态规划的新方法，以提高精确欧氏K均值聚类的效率。该方法利用数据派生的几何图来预处理动态规划过程，确保仅考虑连接的顶点子集作为聚类，同时保持平方误差和（SSE）损失。该方法旨在减少计算量，同时保持无约束的最优值，理论保证保留每个观测值的对数数量的最近邻居可以高概率地保留SSE最优值。
-
新算法大幅缩短GMM训练时间，支持十亿参数模型
研究人员开发了一种新颖的高斯混合模型（GMM）变分近似方法，显著降低了计算复杂度。该新算法在数据维度上呈线性扩展，在组件数量和数据点数量上呈次线性扩展，相比以往方法有了实质性改进。该方法已通过实验验证，在零样本图像去噪等任务中实现了数量级的加速，并能够训练拥有超过100亿参数的GMM模型，在大型数据集上取得了最先进的性能。
-
新研究详细介绍Softmax混合模型的EM和MoM方法
一篇新研究论文探讨了期望最大化（EM）算法和矩量法（MoM）在Softmax混合模型（SMMs）中的应用。这些模型用于分析异质人群中的概率，并与现代LLM架构有关。研究表明，在某些分离条件下，EM算法可以有效地恢复混合成分，改进了现有高斯混合模型的分析。此外，还开发了用于参数和子空间估计的MoM程序，为EM提供了可证明的暖启动，并适用于较少组件数的情况。
-
新研究详解多类别逻辑回归训练的扩展定律
一篇新发表在arXiv上的论文详细介绍了多类别逻辑回归的训练动态，为基于梯度的优化下的交叉熵风险建立了精确的扩展定律。研究表明，学习过程按类别顺序进行，从最频繁的类别到最不频繁的类别，并在此过程中识别出三个不同的阶段：初始平台期、幂律衰减期和最终收敛期。该研究还分析了在固定计算预算下模型容量与优化之间的相互作用，推导出了逻辑回归的计算最优扩展定律，该定律根据可用计算量规定了模型大小和训练时间。
-
新的SQS方法通过贝叶斯学习实现高深度神经网络压缩 · 跟踪2个来源
研究人员开发了一种名为SQS的新方法来压缩大型神经网络，使其能够在资源有限的设备上部署。这个统一的框架使用贝叶斯变分学习同时执行权重剪枝和低比特量化。SQS采用spike-and-slab先验进行稀疏性处理，并使用高斯混合模型对量化权重进行建模，在保持可比性能的同时实现了比现有方法更高的压缩率。在ResNet、BERT-base、Llama3.2和Qwen2.5等模型上的实验证明了其有效性。
-
新研究解决高斯混合模型选择与估计问题
两篇新研究论文探讨了高斯混合模型（GMM）参数选择和估计的先进方法。第一篇论文侧重于一维GMM，建立了模型阶数估计的最佳采样复杂度，并提出了一种高效的基于傅里叶的算法。第二篇论文将其扩展到具有共同协方差矩阵的多维GMM，引入了谱阈值估计器，并展示了与期望最大化算法相比具有竞争力的准确性。
-
新的高斯-厄米积分方法用于高斯混合熵
研究人员开发了一种新的高斯-厄米积分方法，用于数值逼近高斯混合的微分熵，高斯混合通常缺乏闭式解。该方法的准确性受积分阶数的影响，并在一个和两个维度上通过基准进行了验证。此外，对于连续作用优化，引入了作用空间中的厄米多项式代理，与传统的泰勒代理相比，在雷达指向基准中显示出更低的误差和遗憾。
-
新的摊销框架改进了核密度估计的带宽选择
研究人员开发了一种新颖的摊销框架，用于学习核密度估计中的带宽选择。该方法在密度估计任务的分布上优化对数得分，即使在异构数据下也能实现稳定的学习。实验表明，与Silverman规则和最小二乘交叉验证等传统方法相比，这种摊销选择器表现显著更优，尤其是在样本量小或多样化的情况下。
-
梯度EM算法在过参数化高斯混合模型上实现了全局收敛
研究人员为梯度期望最大化（EM）算法应用于过参数化高斯混合模型（GMMs）时建立了全局收敛保证。这是EM或其梯度变体在超出两分量特定情况之外的首个此类结果。研究表明，在轻微过参数化的情况下，即学习模型使用 $n = \Omega(m\log m)$ 个分量来拟合一个 $m$ 分量真实GMM时，随机初始化的梯度EM可以在多项式时间和样本复杂度内收敛到正确解。该分析引入了用于GMM分析的新颖工具，以表征算法动力学和似然损失景观。
-
自然语言处理流水线检测厄瓜多尔公共采购中的指责性语言
研究人员开发了一种新颖的自然语言处理（NLP）流水线，用于检测厄瓜多尔官方公共采购系统中的指责性语言。这种混合方法结合了无监督聚类和监督分类，利用了来自Word2Vec、LLaMA和RoBERTa等模型的语义嵌入。该系统在识别潜在的违规评论方面表现出高精度和高召回率，即使在数据不平衡的情况下也是如此，展示了轻量级、领域适应性强的自然语言处理在提高公共采购透明度方面的有效性。
-
揭示了用于部分最优传输的新数学距离
研究人员引入了新的数学工具，即熵部分最优传输和部分混合 Gromov--Wasserstein 距离，旨在比较概率测度和度量测度空间。这些方法通过允许部分匹配来解决现有平衡公式的局限性，这对于包含异常值或不完整信息的数据集很有益。该论文详细介绍了这些新距离的数学特性，包括它们的存在性、唯一性和极限，并通过在合成数据和点云上的数值实验展示了它们的应用。
-
LLM 和 GMM 增强 NLP 中代表性不足主题的聚类
研究人员开发了一种新的无监督自然语言处理（NLP）数据增强方法，该方法结合了高斯混合模型（GMM）和大型语言模型（LLM）。这种方法旨在改善文本数据集中代表性不足主题的表示，这是无监督聚类任务中的一个常见挑战。通过使用 GMM 识别少数簇，并使用 LLM 为这些簇生成合成文档，该方法提高了聚类性能和可解释性。
-
新研究探索使用紧凑支撑径向基函数进行概率密度建模
研究人员探索了使用紧凑支撑径向基函数（CS-RBF）作为一种新颖的概率密度函数参数族，特别关注Wendland $\mathscr{C}^2$ 核。该研究在单变量和条件设置中提供了矩和累积分布函数等统计属性的解析表达式，并考虑了截断和非截断支撑的场景。还介绍了一种使用CS-RBF混合模型进行密度估计的增量学习算法，该算法在合成和真实世界数据集上展示了与高斯混合模型相比具有竞争力的性能。
-
Lloyd's K-Means 算法被识别为 Frank-Wolfe 方法的特例
一篇新论文建立了 Lloyd's K-Means 聚类算法与 Frank-Wolfe (FW) 算法之间的联系，证明 K-Means 是 FW 的一个特定实例。该研究推导了 K-Means 的非渐近收敛率，并提出了一种用于处理空簇的 FW 变体，保持了相同的收敛率。研究结果通过对高斯混合模型和图像分割数据的模拟进行了说明。
-
新的优化框架使用高斯混合模型处理鲁棒机会约束问题
研究人员开发了一种用于分布鲁棒线性机会约束问题的新方法，该方法利用高斯混合模型（GMM）来表示不确定性。通过允许最坏情况分布动态确定连续支持内的混合分量数量和位置，以及它们的均值和协方差，该方法改进了有限支撑分布鲁棒（FDR）公式。已创建一种自适应切割面算法来解决这些问题，该算法内生地确定接收质量的混合分量参数。一项关于电动汽车充电站能源分配的案例研究证明了该框架在满足可靠性目标方面的有效性。