turingcorp

技术文章警告：大型语言模型的置信度分数是装饰性的，而非测量值

一篇近期技术文章强调了模型生成的置信度分数与校准概率之间的关键区别。作者认为，大型语言模型在生成过程中直接报告的数字仅仅是装饰性的，它们反映了模型听起来有多自信，而不是准确性的实际测量值。文章解释说，真正的校准只能通过外部的簿记来实现，将报告的数字与实际结果进行长期比较。这一区别对于根据置信度阈值自动接受或拒绝模型输出的系统至关重要，因为装饰性的数字可能导致错误的决策。