一个名为CoCHI的新框架已被开发出来,用于解决大型语言模型(LLMs)中的过度自信错误。与调整输出或重新训练模型的现有方法不同,CoCHI干预负责不同置信度行为的LLM内部组件。通过分析正确性-置信度模式,CoCHI针对特定的内部结构,以减少不正确的、高置信度的预测,同时保留准确的预测。实验表明,CoCHI在各种LLM上一致地改进了如预期校准误差(Expected Calibration Error)和Brier分数(Brier Score)等校准指标,为模型可靠性提供了一种更具机制性的方法。 AI
影响 通过解决内部校准机制,提供了一种改进LLM可靠性的新颖方法,有望带来更值得信赖的AI应用。
排序理由 学术论文,详细介绍了一种新的LLM校准框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →