研究人员推出 Unlimited OCR 2,这是一种新颖的文档解析模型,旨在处理几乎无限长度的文档,而不会产生高昂的内存开销。该模型将解码器注意力模块升级为稀疏参考滑动窗口注意力 (SR-SWA),通过将活动参考令牌限制在固定容量内来维持恒定的计算成本。这种方法实现了显著的加速,在百页文档上,每步比全注意力 (Full Attention) 和 R-SWA 分别提高了 7.0 倍和 5.6 倍。Unlimited OCR 2 在专门为解析长文档设计的新基准 MPDocBench 和 MarathonDocBench 上也展示了最先进的性能。 AI
影响 能够高效解析极长的文档,可能改变大规模文档分析和转录的处理方式。
排序理由 该集群描述了一篇关于新模型架构和文档解析基准的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Full Attention
- Jingjing Wu
- MarathonDocBench
- MPDocBench
- Sparse Reference Sliding Window Attention
- SR-SWA
- Unlimited-Horizon Decoding Paradigm
- Unlimited OCR 2
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →