ConsistencyChecker

LLM 护栏将正确的算术标记为幻觉

一位开发者实施了一个名为 ConsistencyChecker 的护栏系统，以防止大型语言模型（LLM）在生成的报告中产生虚假的数值数据。该系统维护一个所有有效数字的 Ground Truth Pool，并将 LLM 的输出与之进行交叉引用。在测试过程中，该护栏正确地识别出了本地 8B 模型生成的虚假数字，但却对一个前沿 API 模型产生了误报，表明该 API 正在进行正确的算术运算，而检查器无法识别。