Influence Functions
PulseAugur coverage of Influence Functions — every cluster mentioning Influence Functions across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的ZOIF方法支持仅使用前向传播进行LLM数据选择
研究人员推出了一种新颖的框架ZOIF，用于估计大型语言模型（LLM）中的影响函数，该框架无需反向传播。该方法仅使用前向传播，显著降低了内存需求，并使LLM的数据选择更加可行。ZOIF将过程分解为三个阶段，包括使用零阶估计近似梯度以及通过优化求解逆Hessian-向量积，最终得出每个样本的影响得分。实验表明，ZOIF选择的数据子集具有与现有方法相当或更好的效用，同时消耗的峰值内存大大减少，计算时间相似。
-
新的TICDA方法归因表格基础模型中的数据影响
研究人员开发了TICDA，一种用于在表格基础模型（TFMs）的上下文中归因单个数据点影响的新颖方法。与计算成本高昂或需要模型参数更新的现有方法不同，TICDA使用在潜在嵌入上训练的线性代理模型，在单次前向传播中测量演示影响。这种方法在识别标签错误、优化准确性和效率的上下文、确保跨TFMs的分数可转移性以及支持主动学习策略方面被证明是有效的。
-
新方法通过重写响应来增强LLM训练数据归因
研究人员引入了一种名为“影响引导响应重写”的新方法，以改进大型语言模型（LLM）的训练数据归因（TDA）。该技术利用影响函数识别有影响力的训练样本，然后重写它们的响应以使其符合期望的行为，这种方法被证明比简单地重加权同一批样本更有效。研究表明，与传统的重加权相比，响应重写即使在安全相关任务中也能在LLM中产生更强、更一致的行为转变。
-
新方法通过有影响力的训练数据增强语言模型控制
研究人员开发了一种名为“影响引导响应重写”的新方法，以更有效地修改语言模型的行为。该技术使用影响函数识别有影响力的训练数据点，然后替换它们的响应，与传统的重加权方法相比，可以产生更强大、更持久的行为转变。在四个开源LLM上的实验表明，这种重写方法可以产生更显著的双向变化，即使是针对安全相关的行为，也表明有影响力的样本比以前理解的具有更大的干预潜力。
-
新方法表征复杂马尔可夫模型切空间
研究人员开发了一种表征一般马尔可夫模型切空间正交补的方法，这是高效统计推断的关键一步。这项工作将先前在有向无环图 (DAG) 上的发现扩展到了更复杂的模型，如无向图、链图和有向混合无环图。新方法提供了正交补的闭式表达式，能够推导出目标参数的所有影响函数，这对于构建统计上有效的估计量至关重要。
-
新理论将统计效率扩展到黎曼流形
Lin Liu 的一篇新论文提出了一种渐近效率理论，适用于具有非欧几里得结构的统计模型，例如黎曼流形。这项工作通过开发一套词汇来将正则估计量和可微泛函等概念翻译到流形设置，从而扩展了主要局限于赋范线性空间的现有理论。该论文通过应用于计算总体 Fréchet 均值和单指标模型中的回归系数来展示该框架的效用。
-
新的DRIFT方法优化大型语言模型训练数据以提升性能
研究人员开发了一种新颖的指令数据优化方法DRIFT，旨在提升大型语言模型的性能上限。与专注于子集选择的现有数据策选技术不同，DRIFT旨在改进数据分布本身。它利用策略内影响函数，将模型自身的rollouts作为验证目标，以解决标准影响函数公式中存在的邻近差距和梯度范数偏差等局限性。使用7B参数模型的实验表明，DRIFT能有效提升指令和推理任务的性能，优于当前的数据策选基线。
-
Influcoder 为 LLM 提供可扩展的数据归因
研究人员开发了 Influcoder，这是一种旨在有效归因单个训练数据样本对大型语言模型 (LLM) 影响的新方法。该方法解决了现有影响函数方法的可扩展性和速度限制，使其适用于大型数据集。Influcoder 旨在通过识别可能导致模型出现不良行为（如毒性）的样本来帮助策展高质量数据集。
-
新框架 PINNfluence 助力物理信息神经网络的解释
研究人员开发了 PINNfluence，一个旨在解释物理信息神经网络（PINNs）行为的新框架。该方法利用影响函数将网络的预测和损失组件归因于特定的训练数据点。实验表明，PINNfluence 能够区分训练良好和训练不佳的 PINNs，为理解和提高其可靠性提供了更精细的诊断工具。
-
新的CLIF方法使用概念级影响函数增强NLP模型的可解释性
研究人员开发了CLIF，一种使用影响函数来提高NLP模型可解释性的新方法。该方法可以识别有益和有害的影响训练数据点，并通过调整这些样本来恢复性能，而无需重新训练。CLIF还分析了概念瓶颈模型内的概念级影响，从而深入了解决策过程。
-
新分析揭示 AI 数据归因方法的准确性
研究人员开发了一种新的数学分析方法，用于分析凸学习问题中的数据归因方法，如影响函数 (IF) 和牛顿步 (NS)。该分析不依赖于强凸性假设，并提供了更严格的界限，解决了先前工作的局限性。研究结果解释了为什么 NS 数据归因通常比 IF 更准确，并建立了其误差的渐近标度律。
-
影响函数的新对偶表示提高了效率
研究人员开发了一种新的影响函数对偶表示，可以有效地估计模型参数和输出的变化。该方法随数据集大小而不是模型大小进行扩展，为传统影响函数评估不可行的模型提供了优势。然而，该方法目前仅限于可线性化的模型，并且需要大量的矩阵物化。