LFRAG

新研究通过视觉-文本集成和块级RAG推进多模态文档检索

两篇新研究论文介绍了多模态文档检索和检索增强生成（RAG）的先进方法。第一篇“Unveil”提出了一个视觉-文本嵌入框架，集成了文本和视觉特征，并使用知识蒸馏来创建一个保留语义保真度的有效仅视觉模型。第二篇“LFRAG”通过基于布局分割文档并将语义和布局信息融合，将多模态RAG从页面级提升到块级检索。LFRAG还引入了一个新的基准LFDocQA，用于评估细粒度检索和问答。