PruneShift

新的PruneShift框架评估AI模型剪枝决策的可靠性

研究人员推出PruneShift，一个旨在评估机器学习模型结构化剪枝过程中决策可靠性的新框架。与以往关注平均代理误差或秩相关性的方法不同，PruneShift将选择器输出附近的预测保真度与最终剪枝决策的质量分离开来。使用TextbookQA和Natural Questions等数据集以及OPT-125M模型进行的研究表明，局部保真度并不总是与广泛保真度相关，这凸显了区分评估指标的必要性。