研究人员推出了一种名为随机注意力的新方法，以提高科学基础模型的可靠性。该技术通过在推理过程中引入随机性来修改现有的Transformer架构，从而无需重新训练即可生成预测集合。提出了一种校准目标来调整浓度参数，使模型能够有效地将其随机输出与目标预测相匹配。在天气预报和时间序列任务上的评估表明，与现有方法相比，随机注意力提供了更优的校准和更窄的预测区间，且只需极少的事后调整。 AI
影响 增强了科学基础模型的可靠性和不确定性量化，有可能提高其在高风险应用中的使用。
排序理由 介绍一种校准科学基础模型新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Transformer-based scientific foundation models are increasingly deployed in high-stakes settings, but current architectures give deterministic outputs and provide limited support for calibrated predictive uncertainty. We propose Stochastic Attention, a lightweight inference-time …