PhySciBench

新基准PhySciBench揭示LLM在物理科学中的局限性

研究人员推出了PhySciBench，这是一个旨在评估大型语言模型（LLM）智能体在物理科学研究中能力的新基准。包括Gemini Deep Research在内的当前最先进模型在此基准上的表现有限，准确率仅为33.5%。为解决这些局限性，已开发出一个名为DelveAgent的新框架，该框架可将准确率提高多达7.5个百分点并降低推理成本。