English(EN) Rethinking Evaluation for Principled Generalization Using a Kripkean Challenge to Meaning as Use

新论文以克里普克式意义方法挑战LLM评估

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-27 04:00

一篇新发表在arXiv上的论文提出了一种评估大型语言模型（LLMs）的新方法，通过挑战“意义即使用”范式。作者们利用克里普克对维特根斯坦的解读，认为有限的使用历史不能唯一确定未来的规则遵循，从而质疑当前基准在建立语义能力方面的充分性。为解决这个问题，他们引入了一个实验范式来测试LLMs的抽象和递归能力，旨在更好地评估它们在原则性领域扩展下保持规则和概念的能力。 AI

影响提出了一种评估LLM语义能力的新框架，可能影响未来的基准设计和模型开发。

排序理由该集群包含一篇发表在arXiv上的研究论文，讨论了LLM评估中的理论挑战。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 9 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇发表在arXiv上的研究论文，讨论了LLM评估中的理论挑战。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, safety; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Niyar R Barman, Omar Naim, Nicholas Asher · 2026-10-27 04:00

使用克里普克式的“意义即使用”挑战来反思原则性泛化的评估

arXiv:2610.35111v1 Announce Type: new Abstract: Large language models operationalize an intuitive, view of meaning as use. We argue that it faces a rule-following challenge. Using Kripke's interpretation of Wittgenstein, we argue that finite histories of use do not determine a un…

本文如何被排名

报道来源 [1]

使用克里普克式的“意义即使用”挑战来反思原则性泛化的评估

相关实体

相关话题