研究人员开发了GRASP，一种用于大规模预训练中数据归因的新颖方法。与以往的加性方法不同，GRASP通过二次几何惩罚来模拟子集动态和交互。这种交互感知代理旨在在大规模预训练中实现效率，使用低维特征草图和有限置信下界选择协议。评估表明，GRASP在子集再训练保真度方面显著优于现有方法，并降低了伪影构建成本，在语言模型策展和视觉数据集选择方面也展示了其效用。 AI
影响 GRASP提供了一种更有效、更具成本效益的方式来策展海量预训练数据集，有可能提高下游模型性能并降低计算成本。
排序理由 该集群包含一篇研究论文，详细介绍了机器学习预训练中数据归因的新方法。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →