Mengyao Lyu

新的SSR数据选择方法提高了多模态LLM的训练效率

研究人员开发了一种新颖的数据选择策略，称为SSR（风格、分数、丰富），用于训练多模态大型语言模型。该方法摒弃了复杂的嵌入计算，转而专注于激发知识和用户暴露。SSR通过使用交互风格作为结构化多样性的代理来模拟数据质量，并将数据质量分解为特定能力的得分，为每个样本创建显式配置文件。这种方法在不同的模型架构和数据池中都表现出卓越的性能，仅使用30%的数据即可达到近乎全数据性能。