C-FEX

新流程 C-FEX 改进了领域特定 AI 文本生成的事实性评估

研究人员开发了一个名为 C-FEX 的新评估流程，用于评估生成文本的事实性，特别是在领域特定文档生成任务中。该流程引入了参数化知识精度 (PKP) 来衡量源自模型权重的信息的正确性，并将其与源自增强提示的声明区分开来。研究发现，经过微调的 7B 模型可以媲美甚至超越更大的基线模型，并且 Rouge 和 BertScore 等标准指标可能具有误导性。研究表明，微调主要减少了幻觉，而不是加强了正确的参数化知识。