English(EN) Calibrating Scientific Foundation Models with Inference-Time Stochastic Attention

随机注意力通过校准不确定性增强科学模型

作者 PulseAugur 编辑部 · [1 个来源] · 2026-04-21 14:52

研究人员推出了一种名为随机注意力的新方法，以提高科学基础模型的可靠性。该技术通过在推理过程中引入随机性来修改现有的Transformer架构，从而无需重新训练即可生成预测集合。提出了一种校准目标来调整浓度参数，使模型能够有效地将其随机输出与目标预测相匹配。在天气预报和时间序列任务上的评估表明，与现有方法相比，随机注意力提供了更优的校准和更窄的预测区间，且只需极少的事后调整。 AI

影响增强了科学基础模型的可靠性和不确定性量化，有可能提高其在高风险应用中的使用。

排序理由介绍一种校准科学基础模型新方法的学术论文。

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv stat.ML TIER_1 English(EN) · Ruda Zhang · 2026-04-21 14:52

Calibrating Scientific Foundation Models with Inference-Time Stochastic Attention

Transformer-based scientific foundation models are increasingly deployed in high-stakes settings, but current architectures give deterministic outputs and provide limited support for calibrated predictive uncertainty. We propose Stochastic Attention, a lightweight inference-time …

报道来源 [1]

Calibrating Scientific Foundation Models with Inference-Time Stochastic Attention

相关实体

相关话题