Deep Ensembles
PulseAugur coverage of Deep Ensembles — every cluster mentioning Deep Ensembles across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的贝叶斯深度集成方法增强了预测回归
研究人员开发了一种新的贝叶斯深度集成方法，用于预测回归，该方法增强了可解释性并保持了强大的预测性能。该方法将贝叶斯推理与深度集成相结合，以提供校准的不确定性估计，使其适用于独立预测或集成到更大的学习系统中。主要特点包括低维集成表示、使用线性回归进行可解释权重的一阶贝叶斯聚合，以及神经网络的独立训练以提高鲁棒性和不确定性校准。在标准回归基准上的实证结果显示了具有竞争力的性能和可靠的不确定性估计。
-
新的CLEAR方法通过平衡风险来改进AI不确定性量化
研究人员推出了一种新颖的校准方法CLEAR，旨在通过解决回归任务中的偶然不确定性和认知不确定性来改进预测区间覆盖率。该方法利用两个独立的参数（γ1和γ2）来平衡这些不确定性组成部分。CLEAR具有通用性，可以与各种估计器集成，例如用于偶然不确定性的分位数回归，以及用于认知不确定性的深度集成或来自可预测性-可计算性-稳定性（PCS）框架的方法。在17个不同的数据集上，CLEAR在保持标称覆盖率的同时，在区间宽度方面比单独的基线校准平均提…
-
新的深度学习模型在无人工标注的情况下对天文瞬变体进行分类
研究人员开发了一种新颖的深度学习框架，用于将天文瞬变体分类为真实或虚假，而无需人工标注数据。该方法利用注入的模拟瞬变体和受污染的调查数据集，采用不对称协同教学来处理不同的标签噪声水平。该框架还结合了混合不确定性量化策略，结合MC Dropout和深度集成，为其分类提供校准的置信度。该方法旨在实现时域调查中可扩展且一致的真实-虚假分类，即使在标签有噪声或有限的情况下也是如此。
-
深度集成在多模态分类中优于后期融合
一篇新的研究论文提出使用单一模态神经网络的深度集成来进行多模态分类，挑战了传统的后期融合方法。研究表明，这些集成方法即使在处理模态不平衡方面，也始终优于最先进的后期融合方法。研究人员还开发了一种启发式方法，用于在集成中选择每种模态的最佳模型数量，避免了详尽的计算搜索。
-
深度集成在数据偏移下表现出线性模式连通性
研究人员调查了深度学习中线性模式连通性（LMC）的现象，特别是它如何受到图像分类器集成中数据偏移的影响。研究表明，数据偏移可以被视为一种随机梯度噪声，可以通过使用更小的学习率和更大的批量大小来缓解。这些参数会影响模型收敛到损失景观的相似或不同区域，从而影响训练效率和集成多样性之间的权衡。
-
深度学习模型在机械故障诊断中的不确定性评估
一篇新发表在arXiv上的研究论文探讨了各种深度学习模型在诊断旋转机械故障方面的有效性，特别关注它们处理不确定性的能力。该研究比较了基于dropout的方法、贝叶斯神经网络和深度集成模型等，评估了它们在检测由未见故障（认知不确定性）和噪声（随机不确定性）引起的分布外数据方面的性能。研究结果表明，深度集成模型在检测认知不确定性方面通常优于其他模型，同时在抵抗随机不确定性方面也表现出更强的鲁棒性，因此因其准确性和效率而成为首选。
-
一致性预测为物理模拟提供新的不确定性保证
研究人员将分裂一致性预测（split conformal prediction）创新性地应用于基于神经算子（neural operator）的物理模拟，提供了具有正式覆盖保证的无分布预测区间。该方法应用于稳态热传导基准测试，在 0.1 的 alpha 水平下实现了 89.1% 的经验覆盖率。该方法还提供了不确定性分解，区分了认知不确定性（epistemic uncertainty）和随机不确定性（aleatoric uncertain…
-
深度集成未能捕捉图神经网络中的不确定性
一项新的研究论文质疑了深度集成在图神经网络中进行不确定性量化的有效性。研究发现，集成模型相比单一模型在不确定性量化方面几乎没有改进，其收益主要来自稳定预测而非提高不确定性估计。这归因于“认知崩溃”，即独立训练的网络产生过于相似的预测，从而抵消了集成模型的核心优势。
-
新框架统一了不确定性感知的可解释人工智能
研究人员引入了一个新的可解释人工智能（XAI）框架，该框架纳入了不确定性感知，超越了确定性归因图。该方法将从贝叶斯神经网络派生的“解释分布”形式化，并提出算子来使用均值和方差等度量来总结该分布。该框架在电能质量扰动分类任务上进行了测试，结果表明，与确定性方法相比，带有均值算子的深度集成提高了定位精度，并揭示了标准归因中不存在的不确定性模式。
-
研究论文区分了用于人工智能不确定性的交叉验证与深度集成
一篇题为“折叠中的迷失”的新研究论文强调了人工智能研究中关于医学图像分割不确定性估计的一个普遍误解。研究表明，使用K折交叉验证（CV）来形成集成模型，通常被错误地标记为深度集成（DE），这可能导致对不确定性的不准确解读。研究发现，使用相同训练数据但不同随机种子的DE更适合故障检测等可靠性任务，而CV集成模型更适合建模模糊性。
-
AI模型在血压估算可靠性方面表现出改进
研究人员调查了深度学习模型在光电容积脉搏波描记法（PPG）信号血压估算中不确定性量化的可靠性。研究发现，与蒙特卡洛丢弃法（MCD）相比，深度集成（DE）在领域迁移下提供了更大的鲁棒性。重新校准的高斯负对数似然（GNLL）方法，特别是结合DE和共形预测或温度缩放，为收缩压和舒张压提供了最佳的不确定性校准。
-
Singular Bayesian Neural Networks
研究人员推出了一种名为Singular Bayesian Neural Networks的新方法，该方法显著减少了贝叶斯神经网络所需的参数数量。通过使用低秩分解来参数化权重，这些网络将其后验集中在秩流形上，与标准的均值场方法相比，能够更有效地进行相关性建模。该技术提供了改进的泛化界限和具有竞争力的预测性能，实证结果显示参数数量减少高达33倍，并且增强了分布外检测能力。
-
研究发现贝叶斯深度学习评估在低数据设置下不稳定
两篇新的arXiv论文强调了贝叶斯深度学习方法的评估存在显著不稳定性，尤其是在数据稀缺的情况下。研究人员发现，标准的评估指标会产生不可靠且依赖于数据集的排名，这意味着一种方法的优越性会因具体数据集和样本量的大小而大相径庭。这些研究表明，当前的评估实践可能会误导实践者，并提出使用不确定性感知方法和报告方差轨迹来提供更稳健的模型性能评估。