Ciga

新的CIGA方法通过关注内容来改进LLM数据选择

研究人员开发了一种名为内容不变梯度归因（CIGA）的新方法，以改进大型语言模型（LLM）的训练数据选择。现有的基于梯度的 G 100 方法容易受到数据中微小、语义无关的变化的影响，导致归因分数不一致。CIGA 通过识别稳定的梯度层并将其与语义表示融合来解决此问题，确保归因基于内容而非表面格式。实验表明，CIGA 提供了更稳定的数据排名，保持了下游能力，并提高了整体性能，同时降低了计算成本。