Bin Shao

新基准评估LLM在VASP计算科学配置能力

研究人员推出了INCARBench，一个旨在评估大型语言模型（LLM）在Vienna Ab initio Simulation Package (VASP)科学计算配置能力的基准。该基准包括生成和修复VASP输入配置的任务。对19种不同LLM配置的测试显示，它们的性能存在显著差异，许多模型在语义和策略方面表现出高准确性，但在任务关键的正确性方面遇到困难，尤其是在涉及DFT+U、磁性和关联材料的复杂场景中。