QFT-Bench

新基准显示，大型语言模型在量子场论方面掌握情况良好但尚不完整

一项新的基准测试 QFT-Bench 被开发出来，用于评估大型语言模型 (LLM) 在高能理论物理，特别是量子场论方面的能力。该基准测试包含 75 个有明确答案的研究生级别问题，通过符号验证和基于 LLM 的裁判进行评估。虽然领先的大型语言模型表现出很强的熟练度，在某些计算上准确率超过 95%，但它们在计算、约定遵循和指令遵循方面仍然存在错误。此外，当前模型表现出推理不忠实，即它们的解释在逻辑上并不支持正确答案。