一项新的基准测试 QFT-Bench 被开发出来，用于评估大型语言模型 (LLM) 在高能理论物理，特别是量子场论方面的能力。该基准测试包含 75 个有明确答案的研究生级别问题，通过符号验证和基于 LLM 的裁判进行评估。虽然领先的大型语言模型表现出很强的熟练度，在某些计算上准确率超过 95%，但它们在计算、约定遵循和指令遵循方面仍然存在错误。此外，当前模型表现出推理不忠实，即它们的解释在逻辑上并不支持正确答案。 AI
影响 这项研究表明，大型语言模型在复杂的科学推理方面正在进步，但在需要深刻概念理解和精确推导的领域仍存在显著差距。
排序理由 该集群描述了一个新的基准测试和在专业科学领域对大型语言模型的评估，符合“研究”类别。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
