Bayesian Neural Networks
PulseAugur coverage of Bayesian Neural Networks — every cluster mentioning Bayesian Neural Networks across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的SCROLL方法通过Bethe自由能优化贝叶斯神经网络
研究人员开发了一种训练贝叶斯神经网络的新方法，称为SCROLL（Shared-Cavity fRee-rOuting Last-Layer）。该方法优化Bethe自由能而非典型的证据下界（ELBO），旨在实现网络组件之间的局部一致性。SCROLL专为单次训练而设计，可以处理各种似然函数，在多个基准数据集上显示出预测准确性和校准方面的性能提升。
-
新的贝叶斯深度学习方法增强了可解释性和模型压缩能力
研究人员引入了一种名为输入跳跃潜在二值贝叶斯神经网络（ISLaB）的新方法，以增强深度学习模型的可解释性并降低其复杂性。该方法允许协变量跳过层或被排除，从而简化网络结构并更清晰地了解输入如何影响预测。ISLaB 显著降低了网络密度，实现了超过 99% 的压缩率，同时保持了高准确性和预测不确定性，并在 MNIST 数据库等基准测试中展示了最先进的压缩效果。
-
贝叶斯神经网络：无限宽度匹配多项式宽度可学性
研究人员发表了一篇论文，详细介绍了均值场贝叶斯神经网络的宽度鲁棒可学性定理。该研究表明，对于布尔立方体目标，无限宽度下的可学性等同于多项式宽度下的可学性，前提是约简熵有界多项式。这一发现表明，无限宽度极限通过有效子采样神经元同时保留学习到的函数，可以准确地描述学习过程，而不会引入虚假的泛化能力。
-
新的BiLoc框架使用1比特激光雷达实现高效自主定位
研究人员开发了BiLoc，一个新颖的二值神经网络框架，用于6-DoF激光雷达定位，旨在为自主系统提供计算效率。该方法通过信息瓶颈原理重新解释了BNN训练，以保留姿态估计的关键表示，同时最大限度地减少信息损失。引入了一个辅助目标来适应性地调节信息保留，补偿二值化和梯度不匹配的固有局限性。在大规模激光雷达数据集上的实验表明，BiLoc在基于BNN的激光雷达定位方面取得了最先进的性能。
-
贝叶斯神经网络利用对称性提升深度学习性能
研究人员探讨了对称性在深度学习中的作用，特别是在贝叶斯神经网络（BNNs）中。他们研究了在网络架构上施加对称性约束或通过数据增强学习对称性是否能产生更好的结果。该研究侧重于BNNs中的变分推断，并推导了实现精确等变性的条件以及等变性误差的界限。引入了三种新颖的对称化技术，其中“轨道扩展”在等变性和总体结果方面均表现出优越性能。
-
新的 B-PINN 框架增强了材料退化预测的不确定性量化
研究人员开发了一个新的贝叶斯物理信息神经网络（B-PINN）框架，旨在改进预测与健康管理（PHM）中的不确定性量化。这种新颖的方法联合建模了认知不确定性和偶然不确定性，为估算绝缘材料老化等应用提供了更全面的预测后验。该框架在变压器绝缘老化方面进行了评估，并通过热模型和现场测量进行了验证，与现有的确定性 PINN 和贝叶斯 PINN 变体相比，展示了更高的准确性和校准度。
-
深度学习模型在机械故障诊断中的不确定性评估
一篇新发表在arXiv上的研究论文探讨了各种深度学习模型在诊断旋转机械故障方面的有效性，特别关注它们处理不确定性的能力。该研究比较了基于dropout的方法、贝叶斯神经网络和深度集成模型等，评估了它们在检测由未见故障（认知不确定性）和噪声（随机不确定性）引起的分布外数据方面的性能。研究结果表明，深度集成模型在检测认知不确定性方面通常优于其他模型，同时在抵抗随机不确定性方面也表现出更强的鲁棒性，因此因其准确性和效率而成为首选。
-
新型TreeGRNG提供高效概率AI硬件
研究人员开发了TreeGRNG，一种新颖的二叉树高斯随机数生成器，专为高效概率AI硬件设计。这项创新解决了贝叶斯神经网络中传统高斯随机数生成器所面临的显著功耗和计算需求。TreeGRNG在每样本能耗方面实现了3.7倍的降低，在单位面积吞吐量方面提高了5.8倍，同时还提供了调整概率分布的更大灵活性。
-
新方法解耦神经网络中的偶然不确定性和认知不确定性
研究人员开发了一种新颖的方法来解耦神经网络中的偶然不确定性和认知不确定性。通过协同训练一个方差估计网络和一个贝叶斯神经网络，所提出的方法提高了均值估计，并能预测这两种类型的不确定性。该技术已在包括自定义的随时间变化的异方差回归数据集在内的各种数据集上证明了其有效性和可扩展性。
-
新的SIKA-GP方法加速深度学习中的高斯过程推理
研究人员开发了SIKA-GP，一种加速贝叶斯深度学习中高斯过程（GP）推理的新颖方法。通过采用具有二进有序模板基的稀疏诱导核近似，SIKA-GP实现了仅对诱导点数量对数依赖的计算复杂度。这种方法能够实现高效的张量化GPU计算，并与包括贝叶斯神经网络在内的大规模模型无缝集成，在不影响预测准确性的前提下显著加快了训练和推理速度。
-
新方法增强神经网络不确定性估计
研究人员开发了一种新方法，通过将基于Dirichlet的框架与Monte Carlo Dropout相结合，来改进神经网络中的不确定性估计。该方法旨在提供更具信息量的不确定性表示，同时保持现有技术的计算效率。该方法被提出作为一种实用的解决方案，用于创建能够感知其预测不确定性的深度学习模型。
-
新框架统一了不确定性感知的可解释人工智能
研究人员引入了一个新的可解释人工智能（XAI）框架，该框架纳入了不确定性感知，超越了确定性归因图。该方法将从贝叶斯神经网络派生的“解释分布”形式化，并提出算子来使用均值和方差等度量来总结该分布。该框架在电能质量扰动分类任务上进行了测试，结果表明，与确定性方法相比，带有均值算子的深度集成提高了定位精度，并揭示了标准归因中不存在的不确定性模式。
-
Federated Martingale Posterior sampling improves Bayesian neural networks
研究人员推出了一种用于联邦贝叶斯神经网络的新型协议——联邦鞅后验（FMP）采样。该方法通过使用预测分布和重新拟合来解决大型模型中指定先验的难题。FMP采样允许客户端上传数据嵌入，使服务器能够集中运行预测采样器，从而避免了共享本地数据集的需要。在标准数据集上的实验表明，FMP的性能与集中式方法非常接近，并且与现有的共识方法相比，其校准性能有所提高。
-
新理论探索具有依赖权重的贝叶斯神经网络
研究人员开发了一个新的理论框架来理解具有依赖权重的贝叶斯神经网络（BNNs）。这项工作通过在宽宽度极限下分析BNN输出的后验分布，扩展了先前的发现。该研究提供了输出分布收敛到高斯混合的条件，从而深入了解了深度学习模型的行为。
-
新的SSLA方法改进了贝叶斯模型不确定性量化
研究人员开发了一种名为自监督拉普拉斯近似（SSLA）的新方法，用于直接近似贝叶斯模型中的后验预测分布。该方法借鉴了自训练技术的灵感，通过在模型自身预测上重新拟合模型来量化预测不确定性。SSLA方法提供了一种确定性的、无采样的近似方法，在回归任务（包括贝叶斯神经网络）的预测校准方面优于经典的拉普拉斯近似，同时保持了计算效率。
-
Singular Bayesian Neural Networks
研究人员推出了一种名为Singular Bayesian Neural Networks的新方法，该方法显著减少了贝叶斯神经网络所需的参数数量。通过使用低秩分解来参数化权重，这些网络将其后验集中在秩流形上，与标准的均值场方法相比，能够更有效地进行相关性建模。该技术提供了改进的泛化界限和具有竞争力的预测性能，实证结果显示参数数量减少高达33倍，并且增强了分布外检测能力。
-
新的AI研究探索用于不确定性估计和贝叶斯推断的先进方法
研究人员开发了一个新的变分贝叶斯框架，该框架直接针对后验预测分布，联合学习后验和预测分布的近似值。这种方法旨在提高贝叶斯预测推断的计算效率和准确性，尤其是在固力学等复杂模型中。该方法将计算工作转移到离线阶段，从而实现更快的在线推断，并与传统的两阶段方法相比，表现出优越的性能。
-
贝叶斯神经卡尔曼滤波器增强了无人机在嘈杂环境下的状态估计
研究人员开发了一种新的贝叶斯神经卡尔曼滤波器（BNKF），以改善无人机（UAV）在挑战性环境下的状态估计。该混合框架结合了贝叶斯神经网络（BNNs）的که不确定性量化能力和一个卡尔曼校正步骤。BNKF旨在比传统的卡尔曼滤波器更有效地处理非线性运动和嘈杂的传感器数据，在退化的传感条件下提供更高的准确性和精度。
-
贝叶斯张量网络核方法使用拉普拉斯近似进行不确定性估计
研究人员开发了一种新的贝叶斯张量网络核方法（LA-TNKM），该方法利用线性化拉普拉斯近似进行推理。该方法解决了张量网络核方法中提供不确定性估计的挑战，而张量网络核方法通常会打破高斯性假设。实验表明，LA-TNKM 在各种回归任务上的表现与高斯过程和贝叶斯神经网络相当或更好。