Vinny Chandran Suja

新的BioEVAL基准测试用于评估LLM在生物工程任务上的表现

一项名为BioEVAL的新基准测试已被开发出来，用于评估大型语言和多模态模型在生物工程领域的实验推理能力。该项目涉及22个研究小组，创建了一个博士级别的基准测试，包含608个条目，涵盖11个子领域，包括选择题、文献综合任务和多模态问题。ChatGPT、Gemini和Grok等云规模模型在选择题上的准确率高达90%，但在不同生物工程领域的表现差异很大。