研究人员开发了一种量化神经网络（尤其是大型语言模型）不确定性的新颖方法，通过梯度范数和各向同性假设来近似预测不确定性。该方法无需访问训练数据，即可从一次前向-后向传播中估计认知不确定性和随机不确定性。该方法的有效性已通过与马尔可夫链蒙特卡洛估计的对比得到验证，显示出与模型规模相关的良好对应性。当应用于问答任务时，结合的不确定性估计被证明有助于预测答案的正确性，在TruthfulQA上表现最佳（因为真实答案之间存在冲突），但在TriviaQA的事实回忆任务上效果较差。 AI
影响 该方法可以通过提供一种更有效的不确定性量化方式来提高LLM预测的可靠性。
排序理由 这是一篇详细介绍神经网络不确定性量化新方法的学术论文。
- alphaXiv
- arXiv
- Bernoulli
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- Markov chain Monte Carlo
- Nils Grünefeld
- ScienceCast
- TriviaQA
- TruthfulQA
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
