Probabilistic Circuits for Autonomous Learning: A Simulation Study
PulseAugur coverage of Probabilistic Circuits for Autonomous Learning: A Simulation Study — every cluster mentioning Probabilistic Circuits for Autonomous Learning: A Simulation Study across labs, papers, and developer communities, ranked by signal.
-
两篇arXiv论文回顾概率生成模型并介绍新的质量评估方法
两篇新的arXiv论文探讨了概率生成模型的进展。第一篇是综述，重点关注概率电路（PCs）及其表达能力与可处理性之间的权衡，并讨论了混合深度模型和PC模型。第二篇论文介绍了PQMass，一种使用概率质量估计和卡方检验的无密度估计方法，用于在没有密度假设或辅助模型的情况下评估生成模型质量。
-
概率电路被探索为人工智能推理机器
这篇特许任教资格论文将概率电路（PC）作为人工智能的框架进行探索，重点关注它们处理不确定性和高效执行复杂推理任务的能力。该研究主张将概率作为人工智能的基本语言，并与逻辑、信息论和人类认知进行类比。PC 通过利用结构约束实现各种查询的多项式时间计算，与深度学习集成，并与符号机器学习连接，从而为概率推理的计算挑战提供了解决方案。
-
新理论解释概率电路中的曲率
研究人员开发了一种组合理论来理解概率电路（PCs）中的曲率，PCs是一类生成模型。他们证明了Hessian迹（一种损失曲面曲率的度量）可以分解为节点的电路流和局部锐度项。这一见解有助于解释为什么全局锐度正则化会导致欠拟合和深度偏差。新理论支持一种自适应正则化器，该正则化器针对局部曲率，在保持锐度感知学习和闭式EM更新的好处的同时，保持了泛化能力。
-
新方法使用概率电路改进分布外检测
研究人员开发了一种使用概率电路（PCs）检测分布外（OOD）数据的新方法。这种方法被称为分层似然向量（HLV）和分层似然距离（HLD），它利用PCs的内部分层结构，而不仅仅是根似然。HLD度量通过检查其HLVs的期望来比较概率分布，提供了一种积分概率度量。这种方法允许训练好的PC本身代表分布内数据，消除了部署期间对预留数据的需求，并能够精确计算OOD检测度量。
-
概率电路将知识图谱规则减少96%，同时提升性能
研究人员开发了一种新颖的概率电路方法，可显著减少知识图谱补全所需的规则数量。该方法实现了70-96%的规则集缩减，并在规则最少的情况下，性能比基线方法高出31倍。该新框架基于Nilsson的概率逻辑，显示出更高的规则利用率，并在比较最少规则集与完整规则集时，保留了91%的基线峰值性能。
-
新框架PeTeR在训练后增强概率电路的鲁棒性
研究人员推出了一种新的训练后框架PeTeR，旨在增强概率电路（PCs）在分布变化下的鲁棒性。与需要从头开始训练的现有方法不同，PeTeR在预训练的PCs上运行，无需额外数据。这种方法旨在缓解由噪声数据或小样本量引起的问题，如过拟合和脆弱的泛化能力。在密度估计基准上的评估表明，PeTeR能有效增强基线模型抵御随机和对抗性扰动，其性能与依赖数据的鲁棒学习技术相当或更优。
-
概率电路提升LLM生成速度和表现力
研究人员开发了一种名为MTPC的新方法，以提高大型语言模型中多token预测的速度和表现力。该方法使用概率电路来模拟未来token的联合分布，为假设token独立性或顺序生成token的方法提供了一种更灵活的替代方案。实验表明，MTPC与推测性解码集成后，在保持原始语言模型性能的同时，显著加速了生成过程。
-
新方法将几何信息整合到概率电路中
研究人员开发了一种新颖的方法，通过整合 Voronoi 镶嵌图的几何信息来增强概率电路（PCs）。该方法解决了传统 PCs 的局限性，传统 PCs 使用与数据无关的混合权重，这阻碍了它们表示局部数据流形几何的能力。提出的 Voronoi 镶嵌图（VT）整合面临可处理性的挑战，研究人员为此提供了两种解决方案：一个具有保证界限的近似推理框架和一个保持精确推理的结构条件。此外，还引入了 VT 的可微分松弛以促进基于梯度的学习，并在密度估计任…