English(EN) PMC-InterCPT: Rethinking Biomedical Interleaved Data for Multimodal Continued Pretraining

新的PMC-InterCPT数据集增强了生物医学多模态模型

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-02 04:00

研究人员开发了PMC-InterCPT，一个旨在改进生物医学应用多模态模型的新数据集。该数据集通过在图注旁边加入相关的文章周围文本，解决了现有图文对的局限性。该流程清理并重建了交错的图文样本，使用LLM监督分类器来过滤质量和医学相关性，并通过重采样解决了模态不平衡问题。 AI

影响通过提供更具上下文丰富性的数据集，提高了多模态模型在生物医学领域的性能。

排序理由关于用于多模态模型预训练的新数据集和方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Guanghao Zhu, Zeyu Liu, Zhitian Hou, Pengkai Wang, Zhijie Sang, Minheng Ni, Wenjun Wang, Yanggan Gu, Shuo Cai, Congkai Xie, Jianmin Wu, Hongxia Yang · 2026-06-02 04:00

PMC-InterCPT：重新思考用于多模态持续预训练的生物医学交错数据

arXiv:2606.01049v1 Announce Type: new Abstract: Large-scale biomedical image-text datasets extracted from scientific literature provide valuable resources for medical multimodal model training. These datasets are commonly organized as image-caption pairs; however, figure captions…