MedGemma 4B IT

新框架改进医学视觉问答模型校准

研究人员开发了一种新颖的训练框架，以改进多模态大型语言模型（MLLMs）在医学视觉问答（VQA）中的校准。该方法通过采用复合损失函数来解决MLLMs倾向于产生过度自信且不正确输出的问题。该框架结合了校准项、锚点正则化器和对比度对齐，以确保模型适当地依赖视觉输入，而不是仅仅依赖语言先验。跨多个基准和架构的实验表明，在保持预测准确性的同时，校准误差显著降低，判别力有所提高。