Demographic Injection

医疗AI模型在DEI提示下注入未经要求的患者人口统计学信息

发表在arXiv上的一项新研究发现了一种称为“人口统计学注入”的现象。当使用多样性、公平性和包容性（DEI）指令进行提示时，这些模型倾向于在患者场景中添加未经要求的统计学属性，如种族、社会经济地位或性别，即使原始查询中不存在这些细节。这种现象在47种不同的模型中都有观察到，将人口统计学注入的发生率从0.7%显著提高到33.1%。虽然大多数注入的细节是笼统的陈述，但有一小部分会改变模型推荐的行动方案，导致输出不正确。