大型语言模型不确定性量化：黑盒与白盒方法对比

研究人员正在探索让大型语言模型（LLMs）量化自身不确定性的方法，这对于主动学习和安全分类等应用至关重要。当前的方法分为“白盒”方法，分析内部模型状态但需要访问模型权重；以及“黑盒”方法，依赖于可观察的输出，如 token 及其概率。最近的一项比较评估了八种黑盒技术与一种白盒方法，以确定 LLM 置信度估计的最有效方法。 AI

影响 提高 LLM 的可靠性和可解释性可以增强其在关键应用中的使用。

排序理由 该集群讨论了关于 LLM 不确定性量化方法的研究，并对不同技术进行了比较。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

• active learning
• Anthropic
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs
• LLM
• mechanistic interpretability
• OpenAI
• Revisiting Epistemic Markers in Confidence Estimation: Can Markers Accurately Reflect Large Language Models' Uncertainty?
• safety classifiers
• Uncertainty Estimation in Autoregressive Structured Prediction
• Verbosity ≠ Veracity: Demystify Verbosity Compensation Behavior of Large Language Models

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →