Spanish MIR examination

开放语言模型在西班牙住院医师资格考试中接受测试

一篇新发表在arXiv上的研究探讨了开放语言模型在西班牙MIR住院医师资格考试中的能力。研究人员评估了四种参数量从80亿到270亿不等的模型，评估了它们的准确性、不确定性、推理能力和图像使用情况。参数量较大的模型表现出具有竞争力的性能，有可能排在前列，但它们的置信度与准确性并不总是相关。医学微调提高了置信度，但降低了整体准确性，并且模型给出正确答案的推理并不总是临床上合理的。此外，移除或更改提供的图像并未影响模型的性能。