PetQA

新的PetQA基准评估AI兽医知识

研究人员开发了PetQA，这是一个旨在评估大型语言模型（LLMs）和大型视觉语言模型（LVLMs）的兽医知识和临床推理能力的新基准。该基准包含超过10,000个问答对，这些问答对源自关于狗和猫的真实查询，并由兽医专家提供答案。使用ROUGE和BERTScore等指标对十八个模型进行的初步评估显示，当前AI系统在兽医护理方面存在局限性，突显了改进适应方法的必要性。