QMAC

新的QMAC方法优化LLM训练数据选择

研究人员推出了一种名为QMAC的新方法，用于选择高质量数据来训练大型语言模型和视觉-语言模型。QMAC通过将数据选择构建为分布匹配和质量过滤的联合优化问题，解决了海量数据集相关的计算和存储成本问题。该方法确保所选子集的分布在嵌入空间中与完整数据集对齐，同时过滤掉噪声或低质量样本。在不同数据类型和模型上的实验表明，QMAC的性能优于现有方法，在某些场景下甚至超越了完整数据训练。