Jinhe Bi

PRISM框架大幅缩短MLLM调优时间，提升性能

研究人员开发了PRISM，一个新颖的、无需训练的框架，用于高效选择多模态大语言模型（MLLM）的数据。该方法解决了大型数据集中冗余问题，该问题会增加视觉指令调优期间的计算成本。PRISM通过模拟内在视觉语义和重新定位隐式特征来独特地解决该问题，从而减轻由背景元素引起的全局语义漂移。该框架显著减少了数据选择和模型调优的时间，仅为传统流程的30%，同时还在各种基准测试中提高了性能。