gradient-alignment importance estimator

新的DIEM框架通过自适应数据选择改进LLM强化微调

研究人员推出了一种名为动态重要示例挖掘（DIEM）的新型框架，旨在增强大型语言模型（LLM）的强化微调（RFT）。DIEM通过估计每个样本对策略改进的边际贡献，在RFT过程中自适应地选择和重新加权训练数据。该方法旨在克服静态数据选择方法的局限性，因为静态数据选择方法可能由于策略学习的非平稳性而导致模型更新不理想。DIEM集成了梯度对齐重要性估计器和约束批次重加权方案，以稳定优化并最大化效用，在推理基准测试中表现出持续的优越性。