RAP-Crop

DeCoRAG 管道增强了用于复杂文档的多模态 RAG

研究人员推出了一种新颖的多模态图 RAG 管道 DeCoRAG，旨在改进复杂文档的理解。这种新方法解决了“视觉注意力陷阱”问题，即视觉语言模型在处理密集布局时遇到困难，导致语义丢失和高计算成本。DeCoRAG 采用“认知解耦”和“语义锚点”来解决此问题，并指导“区域感知剪枝和裁剪”（RAP-Crop）机制。该方法优化了推理空间，使其专注于相关的语义簇，从而显著提高了准确性并减少了 token 使用量。