MMLBD-C

新方法提升长上下文视觉文档AI模型

研究人员开发了训练长上下文视觉文档理解模型的新方法，在MMLongBenchDoc等基准测试中取得了最先进的性能。一项研究侧重于参数高达32B的模型进行持续预训练、监督微调和偏好优化，发现训练上下文长度应与评估长度匹配，并且页码能显著提高性能。另一篇论文介绍了一个用于长文档理解推理的合成数据管道，使用“think”轨迹和“cot”控制令牌来内化推理，这使得一个32B参数的模型在MMLongBenchDoc上超越了一个大得多的模型。