DiffImaginE

DiffImaginE 使用扩散模型进行多模态实体识别

研究人员推出了一种新颖的多模态命名实体识别（MNER）方法 DiffImaginE，该方法利用条件潜扩散推理。该方法将类型验证构建为一个扩散过程，其中一个类型条件去噪器预测注入标准化潜在表示中的噪声。由此产生的去噪误差作为类型条件负对数似然的代理，从而能够根据解释力对竞争实体类型假设进行排名。在 Twitter-2015 和 Twitter-2017 数据集上的实验表明，与现有的确定性想象与比较方法相比，性能得到了一致的提升。