ValidationSignal

新工具confidence-gate通过可验证信号对抗LLM的“幻觉”

一款名为confidence-gate的新开源工具旨在解决LLM提供自信的错误答案的关键问题。该工具认为，传统的置信度分数和相似度指标在确定输出准确性方面并不可靠。相反，confidence-gate提出了一种系统，该系统根据可验证信号计算可信度，例如基础性（由提供的证据推导）、一致性（跨多个生成的一致性）和验证性（遵守定义的模式）。这种方法旨在防止细微的错误输出进入生产系统。