PulseAugur
中
实时 18:57:44
English(EN) K-ABENA: K-Adaptive Backpropagation with Error-based N-exclusion Algorithm : (Compensated Loss-Based Sample Exclusion with Unbiased Gradient Estimation)

新的K-ABENA框架通过选择性梯度计算大幅降低AI训练成本

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出了一种用于神经网络训练中选择性梯度计算的新框架K-ABENA。该方法旨在通过排除一部分低损失观测值在反向传播中的参与来降低每次迭代的计算成本。K-ABENA的补偿版本利用Horvitz-Thompson重加权技术，实现了无偏梯度估计，并展示了与全批量随机梯度下降（SGD）相当的收敛保证，同时提供了显著的计算节省。 AI

影响 这项研究通过降低计算需求，可能导致更高效的AI模型训练，从而加速开发周期。

排序理由 该集群包含一篇详细介绍神经网络训练新算法的学术论文。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的K-ABENA框架通过选择性梯度计算大幅降低AI训练成本

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Jean-Francois Bonbhel ·

    K-ABENA：基于误差的N排除算法的K自适应反向传播（补偿损失样本排除与无偏梯度估计）

    arXiv:2607.05903v1 Announce Type: cross Abstract: We present K-ABENA (K-Adaptive Backpropagation with Error-based N-exclusion Algorithm), a selective gradient computation framework that reduces per-iteration training cost by excluding a fraction of low-loss ("minor") observations…

  2. arXiv cs.CL TIER_1 English(EN) · Jean-Francois Bonbhel ·

    K-ABENA：基于误差的K自适应反向传播N排除算法（基于补偿损失的样本排除与无偏梯度估计）

    We present K-ABENA (K-Adaptive Backpropagation with Error-based N-exclusion Algorithm), a selective gradient computation framework that reduces per-iteration training cost by excluding a fraction of low-loss ("minor") observations from the backward pass. Its canonical form (v3) c…

相关实体

相关话题