研究人员开发了一种新方法，以提高视觉语言模型（VLM）对文档布局的理解能力，特别是对于训练期间未见过的结构文档。该方法使用一个轻量级检测器预先解析布局信息，并将其注入VLM的提示中，使模型能够更好地区分布局和内容处理。该技术显著提高了在分布外基准测试上的性能，减少了错误，并提高了结构准确性，同时只增加了少量的延迟。 AI
影响 提高了VLM在文档分析方面的鲁棒性，有望实现从不同文档类型中提取更好的信息。
排序理由 该集群包含一篇学术论文，详细介绍了一种提高VLM在特定任务上性能的新颖方法。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
Vision-Language Models (VLMs) parse documents end-to-end but frequently break down on layouts unlike those seen in training. We attribute this to a two-hop bottleneck: before the decoder can extract content (Hop 2), it must first classify and localize the enclosing layout entity …
Vision-Language Models (VLMs) parse documents end-to-end but frequently break down on layouts unlike those seen in training. We attribute this to a two-hop bottleneck: before the decoder can extract content (Hop 2), it must first classify and localize the enclosing layout entity …