zeroth-order estimation

新的ZOIF方法支持仅使用前向传播进行LLM数据选择

研究人员推出了一种新颖的框架ZOIF，用于估计大型语言模型（LLM）中的影响函数，该框架无需反向传播。该方法仅使用前向传播，显著降低了内存需求，并使LLM的数据选择更加可行。ZOIF将过程分解为三个阶段，包括使用零阶估计近似梯度以及通过优化求解逆Hessian-向量积，最终得出每个样本的影响得分。实验表明，ZOIF选择的数据子集具有与现有方法相当或更好的效用，同时消耗的峰值内存大大减少，计算时间相似。