PulseAugur
实时 16:46:44
English(EN) Presupposition and Reasoning in Conditionals: A Theory-Based Study of Humans and LLMs

研究发现大型语言模型在条件句的语用推理方面存在困难

一项发表在arXiv上的新研究调查了大型语言模型(LLMs)如何处理条件句中的预设和推理,并将其表现与人类判断进行比较。研究人员开发了一个规范化数据集并进行了一项并行行为研究,发现人类会整合概率和语用线索,而大型语言模型则表现出可变的匹配度。研究还揭示了一个权衡:最能匹配人类评分的模型往往缺乏连贯的语用推理,而推理能力更强的模型则产生了不太像人类的判断,这表明大型语言模型可能依赖于表面模式匹配而非真正的语用能力。 AI

影响 强调了大型语言模型语用能力方面的潜在局限性,表明当前模型可能未能完全掌握细致的语言理解。

排序理由 发表在arXiv上的学术论文,详细介绍了一项比较人类和大型语言模型在语言任务上表现的研究。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究发现大型语言模型在条件句的语用推理方面存在困难

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Olessia Jouravlev ·

    条件句中的预设与推理:一项基于理论的人类与大型语言模型研究

    Presupposition projection in conditionals is central to theories of meaning and pragmatics, yet it remains largely unevaluated in large language models. We address this gap through a parallel behavioral study comparing human judgments and LLM predictions on a normed dataset of co…