Beta-Binomial empirical-Bayes estimator

Vision-language models struggle with institutional agreement on chest X-rays

研究人员评估了三种视觉语言模型（VLM）在不同机构准确识别胸部X光片（chest radiographs）病灶的能力。研究发现，现有的VLM缺乏置信度分数，导致接收机构难以衡量单个预测的可靠性。在跨三个语料库和六种病灶的超过345,000次预测中进行测试时，即使有少量本地标签用于估算，模型的性能也因地点和接口而异，这表明需要进行特定地点的重新评估，而不是依赖通用的默认估算器。