ProtStructQA

新基准ProtStructQA测试蛋白质模型在结构推理方面的能力

研究人员推出了ProtStructQA，一个旨在评估蛋白质语言模型结构推理能力的新基准。该基准包含超过38万个可执行问题，这些问题源自领域特定语言程序，通过在AlphaFold预测的蛋白质结构上执行这些程序来回答。对Qwen3和Gemma模型的实验揭示了一种能力依赖的指示阈值，表明工具介导的推理对于小于特定尺寸的模型至关重要，而思维链提示对大型模型更有益。