English(EN) ForEx: A Formal Verification Framework for Explainable Reasoning in Logical Fallacy Detection and Annotation

新框架ForEx验证LLM在逻辑谬误检测中的推理过程

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-20 04:10

研究人员开发了ForEx，一个新颖的框架，旨在形式化验证大型语言模型（LLMs）在检测逻辑谬误过程中的推理。该系统将LLM的解释翻译成Lean4，一种形式化验证语言，以检查推理是否可以从编码的前提中推导出来，而不仅仅是评估原始论证的逻辑有效性。使用LOGIC-Climate数据集进行的实验显示，虽然超过90%的LLM输出可以被翻译成可验证的形式推理链，但与人类标注的一致性仅约为20%。这突显了形式可推导性与人类对齐推理之间存在的显著差异，而传统基于预测的指标未能捕捉到这一差距。 AI

影响该框架可能导致对LLM推理进行更鲁棒的评估，超越简单的准确性，评估其底层逻辑。

排序理由该条目描述了一篇关于评估LLM推理能力的新颖框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目描述了一篇关于评估LLM推理能力的新颖框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, safety; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 82 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Yihuang Kang · 2026-06-20 04:10

ForEx：用于逻辑谬误检测和标注中可解释推理的形式化验证框架

Current evaluations of Large Language Models (LLMs) on logical fallacy detection focus on predicted labels, but do not establish whether those labels are supported by the reasoning the models provide. We propose ForEx (Formal Verification for Explainable Reasoning), a framework t…

本文如何被排名

报道来源 [1]

ForEx：用于逻辑谬误检测和标注中可解释推理的形式化验证框架

相关实体

相关话题