Doc-MRE

新训练方法提升多模态文档理解能力

研究人员调查了多模态文档理解中的互惠增强效应（MRE），特别是考察了将细粒度的跨度级任务与粗粒度的文档级任务相结合是否能提高性能。他们的研究使用了包括收据和商业表格在内的三个语料库，发现标准的联合训练并未带来显著改进，并且常常导致任务粒度之间的权衡。然而，一种新颖的条件化训练方法，在训练过程中将一个任务的输出纳入另一个任务的提示中，在三个数据集中的两个上显示出增强效果，尤其是在避免复杂文档集上的性能崩溃方面。