Variational Inference
PulseAugur coverage of Variational Inference — every cluster mentioning Variational Inference across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的PAPA方法使用实时反馈将扩散模型与用户偏好对齐
研究人员引入了PAPA（个性化主动偏好对齐），这是一种旨在为个性化推荐系统微调扩散模型的新颖方法。与需要大量偏好数据来训练奖励模型的传统方法不同，PAPA直接使用实时用户反馈来优化扩散模型。这种方法受到变分推断的启发，并在各种对齐任务中显示出有效性。增强版本EPAPA进一步降低了计算成本并加快了微调过程，使其更适合实际应用。
-
贝叶斯神经网络利用对称性提升深度学习性能
研究人员探讨了对称性在深度学习中的作用，特别是在贝叶斯神经网络（BNNs）中。他们研究了在网络架构上施加对称性约束或通过数据增强学习对称性是否能产生更好的结果。该研究侧重于BNNs中的变分推断，并推导了实现精确等变性的条件以及等变性误差的界限。引入了三种新颖的对称化技术，其中“轨道扩展”在等变性和总体结果方面均表现出优越性能。
-
新的AI推理方法解决了高维方差和后验坍塌问题
研究人员推出了一种新颖的基于粒子的变分推理方法——熵正则化最优输运下降法（Entropic Transport Descent, ETD），该方法利用熵正则化最优输运来改进对难解分布的近似。与先前可能在高维情况下遭受方差坍塌的方法不同，ETD的全局协调机制能够保留多模态结构，并在各种实验中与SVGD等现有技术相媲美或表现更优。同时，对变分深度高斯过程（Variational Deep Gaussian Processes, VDGPs…
-
新的SN-VI框架增强了AI中的潜在变量建模
研究人员开发了结构化非参数变分推断（SN-VI），这是一个新的框架，使用多元样条技术对后验近似中的潜在变量之间的复杂依赖关系进行建模。这种方法超越了均场假设，以保留复杂的潜在变量关系，提供更灵活和准确的后验近似。SN-VI已被应用于计算机视觉和空间转录组学中的高维数据，展示了生成模型性能的提高以及发现耦合生物信号的能力。
-
新的IVRS方法增强了贝叶斯机器学习后验近似
研究人员引入了隐式变分拒绝采样（IVRS），这是一种旨在增强贝叶斯机器学习中后验近似的新颖方法。该技术将神经网络建模的隐式分布与拒绝采样相结合，利用判别器网络通过估计密度比来改进近似。IVRS旨在克服传统均场变分推断的局限性以及单独使用神经网络约束可能产生的误差。所提出的方法还引入了隐式重采样证据下界（IR-ELBO）用于质量评估，并推导出了更紧的变分下界，实验结果表明其性能优于现有的变分推断方法。
-
新的VPR方法提高了贝叶斯后验采样精度
研究人员推出了一种名为变分预测重采样（VPR）的新方法，旨在提高贝叶斯后验采样的准确性。VPR在重采样框架内利用变分推断的预测能力，以更好地逼近真实的后验分布。该方法旨在克服标准变分推断的局限性，标准变分推断有时会产生过于集中的近似，从而忽略重要的后验依赖关系。实验表明，VPR在提高不确定性量化和恢复被忽略的后验依赖关系方面效果显著，同时与传统的MCMC方法相比，计算效率仍然很高。
-
新的神经倾斜框架改进了 AI 安全推断
研究人员开发了一种新的神经指数倾斜框架，用于 Lévy 驱动的随机微分方程中的变分推断。该方法解决了具有重尾和不连续性的过程的贝叶斯推断的难以处理性问题，这对于金融和 AI 安全等领域的极端事件建模至关重要。该框架使用神经网络重新加权 Lévy 测度，在保持计算效率的同时保留了跳跃结构，并能实现比基于高斯的方法更可靠的后验推断。
-
新的AI研究探索用于不确定性估计和贝叶斯推断的先进方法
研究人员开发了一个新的变分贝叶斯框架，该框架直接针对后验预测分布，联合学习后验和预测分布的近似值。这种方法旨在提高贝叶斯预测推断的计算效率和准确性，尤其是在固力学等复杂模型中。该方法将计算工作转移到离线阶段，从而实现更快的在线推断，并与传统的两阶段方法相比，表现出优越的性能。
-
新论文从单一KL恒等式推导出指数族结果
研究人员发现了一个指数族的基本恒等式，指数族是现代机器学习技术（如softmax和高斯分布）的关键分布。该恒等式简化了变分推断和强化学习中几个关键结果的推导，包括勾股定理和吉布斯变分原理。这些研究结果在一个独立的笔记中提出，为理解这些复杂的数学概念提供了一种更简化的方法。
-
对称性保证变分推理中的统计恢复
两篇新论文探讨了目标分布中的对称性如何在变分推理过程中保证某些统计量的恢复，即使所选的变分族被错误指定。该研究为对称性诱导的统计恢复提供了一个通用理论，统一了现有结果并将其扩展到球体分布等新场景。这些发现为变分推理的基本机制提供了见解，并为选择变分族和参数以确保目标属性的准确近似提供了指导。