Visual Information Consistency

新的DICS方法优化视觉指令调优数据集

研究人员引入了数据内在一致性（DIC），一种用于评估视觉指令调优数据集的新颖指标。DIC包含两个模块：视觉信息一致性（VIC）和响应信息一致性（RIC），分别评估视觉内容与指令的对齐程度以及响应的一致性。在此基础上，数据内在一致性选择（DICS）方法通过平衡样本内一致性与全局多样性来优化数据选择。实验表明，DICS的性能优于现有方法，在显著减少数据量的同时，达到了与全数据集微调相当的性能。