PulseAugur
中
实时 08:38:11

新方法使用梯度范数量化神经网络不确定性

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种量化神经网络（尤其是大型语言模型）不确定性的新颖方法，通过梯度范数和各向同性假设来近似预测不确定性。该方法无需访问训练数据，即可从一次前向-后向传播中估计认知不确定性和随机不确定性。该方法的有效性已通过与马尔可夫链蒙特卡洛估计的对比得到验证，显示出与模型规模相关的良好对应性。当应用于问答任务时，结合的不确定性估计被证明有助于预测答案的正确性，在TruthfulQA上表现最佳（因为真实答案之间存在冲突），但在TriviaQA的事实回忆任务上效果较差。 AI

影响 该方法可以通过提供一种更有效的不确定性量化方式来提高LLM预测的可靠性。

排序理由 这是一篇详细介绍神经网络不确定性量化新方法的学术论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新方法使用梯度范数量化神经网络不确定性

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Nils Gr\"unefeld, Jes Frellsen, Christian Hardmeier ·

    An Isotropic Approach to Efficient Uncertainty Quantification with Gradient Norms

    arXiv:2603.29466v2 Announce Type: replace-cross Abstract: Existing methods for quantifying predictive uncertainty in neural networks are either computationally intractable for large language models or require access to training data that is typically unavailable. We derive a ligh…

相关实体

相关话题