Shapley additivity

DRIVE框架通过平衡知识保留和适应性来增强AI模型微调

研究人员推出了一种新颖的DRIVE框架，旨在通过解决灾难性遗忘问题来改进AI模型的微调。DRIVE采用一种数据加权方法，平衡预训练知识的保留与新任务的适应性。该框架将数据多样性和样本特征的信号整合到一个统一的、可微分的目标中，从而实现端到端的基于梯度的优化。理论分析和实证结果表明，与现有方法相比，DRIVE提供了更优越的稳定-塑性保证和更快的收敛速度。