Graph Self-Consistency

新框架GRAPHEVAL量化LLM推理的不确定性和连贯性

研究人员开发了GRAPHEVAL，一个新颖的基于图的框架，用于评估大型语言模型（LLM）的推理能力。该框架引入了图推理连贯性得分（GRCS）来量化LLM推理过程的语义和结构一致性，旨在检测诸如自信幻觉之类的问题。该研究还提出了图自洽性（GSC），这是一种解码策略，它优先考虑推理保真度而非原始准确性，特别是对于较小的模型，同时在能力更强的模型上保持或提高性能。