DynamixSFT

新方法优化指令微调数据集混合

研究人员推出了一种新颖的自动化方法 DynamixSFT，用于优化指令微调数据集的混合。该方法将问题构建为多臂老虎机设置，并采用 Prior-scaled Boltzmann Exploration 来在基于性能改进更新采样概率的同时，保持数据集的多样性。DynamixSFT 已在十个基准测试中证明了其在优化 Tulu-2-mixture 和 Tulu-3-mixture 数据集方面的有效性，且计算开销极小。