Influence Functions
PulseAugur coverage of Influence Functions — every cluster mentioning Influence Functions across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新理论将统计效率扩展到黎曼流形
Lin Liu 的一篇新论文提出了一种渐近效率理论，适用于具有非欧几里得结构的统计模型，例如黎曼流形。这项工作通过开发一套词汇来将正则估计量和可微泛函等概念翻译到流形设置，从而扩展了主要局限于赋范线性空间的现有理论。该论文通过应用于计算总体 Fréchet 均值和单指标模型中的回归系数来展示该框架的效用。
-
新的DRIFT方法优化大型语言模型训练数据以提升性能
研究人员开发了一种新颖的指令数据优化方法DRIFT，旨在提升大型语言模型的性能上限。与专注于子集选择的现有数据策选技术不同，DRIFT旨在改进数据分布本身。它利用策略内影响函数，将模型自身的rollouts作为验证目标，以解决标准影响函数公式中存在的邻近差距和梯度范数偏差等局限性。使用7B参数模型的实验表明，DRIFT能有效提升指令和推理任务的性能，优于当前的数据策选基线。
-
Influcoder 为 LLM 提供可扩展的数据归因
研究人员开发了 Influcoder，这是一种旨在有效归因单个训练数据样本对大型语言模型 (LLM) 影响的新方法。该方法解决了现有影响函数方法的可扩展性和速度限制，使其适用于大型数据集。Influcoder 旨在通过识别可能导致模型出现不良行为（如毒性）的样本来帮助策展高质量数据集。
-
新框架 PINNfluence 助力物理信息神经网络的解释
研究人员开发了 PINNfluence，一个旨在解释物理信息神经网络（PINNs）行为的新框架。该方法利用影响函数将网络的预测和损失组件归因于特定的训练数据点。实验表明，PINNfluence 能够区分训练良好和训练不佳的 PINNs，为理解和提高其可靠性提供了更精细的诊断工具。
-
新的CLIF方法使用概念级影响函数增强NLP模型的可解释性
研究人员开发了CLIF，一种使用影响函数来提高NLP模型可解释性的新方法。该方法可以识别有益和有害的影响训练数据点，并通过调整这些样本来恢复性能，而无需重新训练。CLIF还分析了概念瓶颈模型内的概念级影响，从而深入了解决策过程。
-
新分析揭示 AI 数据归因方法的准确性
研究人员开发了一种新的数学分析方法，用于分析凸学习问题中的数据归因方法，如影响函数 (IF) 和牛顿步 (NS)。该分析不依赖于强凸性假设，并提供了更严格的界限，解决了先前工作的局限性。研究结果解释了为什么 NS 数据归因通常比 IF 更准确，并建立了其误差的渐近标度律。
-
影响函数的新对偶表示提高了效率
研究人员开发了一种新的影响函数对偶表示，可以有效地估计模型参数和输出的变化。该方法随数据集大小而不是模型大小进行扩展，为传统影响函数评估不可行的模型提供了优势。然而，该方法目前仅限于可线性化的模型，并且需要大量的矩阵物化。