PulseAugur
中
实时 09:02:21
English(EN) Knowledge before Reasoning: EC-Reason-Bench, a Training-Free Diagnostic Benchmark for LLM Enzyme Classification

新基准揭示LLM因知识差距而在酶分类方面存在困难

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了EC-Reason-Bench，一个旨在诊断大型语言模型（LLM）在酶分类任务中为何存在困难的新基准。该基准侧重于四个关键领域：输出结构、外部知识、推理结构和推理鲁棒性。实验表明，提供外部知识可以显著提高LLM的性能，通常可以缩小不同模型之间的差距。研究还发现，在封闭式设置中，级联和思维链推理的有效性取决于模型回避回答的倾向。 AI

影响 突出了LLM在科学推理和知识整合方面的关键局限性，表明需要改进外部知识的获取。

排序理由 该项目描述了一个用于评估LLM在特定科学任务上的新基准，属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新基准揭示LLM因知识差距而在酶分类方面存在困难

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Linyu Li, Zhi Jin, Yichi Zhang, Dongming Jin, Yuanpeng He, Huanyao Zhang, Xuan Zhang, Gadeng Luosang, Nyima Tashi ·

    知识优先于推理：EC-Reason-Bench，一个无训练的LLM酶分类诊断基准

    arXiv:2607.26397v1 Announce Type: new Abstract: Enzyme function prediction is a hierarchical, knowledge-intensive form of protein function classification. Existing benchmarks expose an anomaly: general LLMs often get the coarse first level right, yet once asked for a complete EC …

相关实体

相关话题