新框架ForEx验证LLM在逻辑谬误检测中的推理过程

研究人员开发了ForEx，一个新颖的框架，旨在形式化验证大型语言模型（LLMs）在检测逻辑谬误过程中的推理。该系统将LLM的解释翻译成Lean4，一种形式化验证语言，以检查推理是否可以从编码的前提中推导出来，而不仅仅是评估原始论证的逻辑有效性。使用LOGIC-Climate数据集进行的实验显示，虽然超过90%的LLM输出可以被翻译成可验证的形式推理链，但与人类标注的一致性仅约为20%。这突显了形式可推导性与人类对齐推理之间存在的显著差异，而传统基于预测的指标未能捕捉到这一差距。 AI

影响 该框架可能导致对LLM推理进行更鲁棒的评估，超越简单的准确性，评估其底层逻辑。

排序理由 该条目描述了一篇关于评估LLM推理能力的新颖框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Large Language Models
• Lean4
• LLM Argument Verification Matrix
• LOGIC-Climate

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →