一项新研究调查了大型语言模型（LLM）在处理经过形式验证的代数结构时出现的路由失败问题。研究发现，在盲测条件下，GPT-OSS 120B 的模板准确率为 80.3%，Llama 3.3-70B 的准确率为 68.2%。提供“Lean verdict/witness cue”显著提高了两个模型的准确率，GPT-OSS 120B 达到 90.9%，Llama 3.3-70B 达到 81.8%。研究确定了 CRT 和环等价之间的常见错误路由是主要的失败点，并提出真理推理和证明机制分类是 LLM 中可分离的能力。 AI
影响 这项研究突显了 LLM 在形式系统上的推理局限性，表明需要改进复杂符号操作的架构设计。
排序理由 该集群包含一篇学术论文，详细介绍了 LLM 在特定任务上的性能实证结果。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.04534v1 Announce Type: new Abstract: We present an empirical study of structural routing failure in large language models (LLMs) over a formally verified algebraic corpus. The task requires selecting the correct proof-mechanism label from a fixed closed template set fo…
We present an empirical study of structural routing failure in large language models (LLMs) over a formally verified algebraic corpus. The task requires selecting the correct proof-mechanism label from a fixed closed template set for compact mathematical objects drawn from the Fi…