PulseAugur
实时 08:44:28
English(EN) Why can genetic algorithms work in high-dimensional search spaces?

遗传算法在高维人工智能搜索中模拟了裁剪梯度下降

研究人员已经证明,遗传算法可以在高维搜索空间中有效地充当一种裁剪梯度下降。这个过程涉及变异-选择机制,它们在不直接计算的情况下隐式地遵循损失函数的梯度。由于噪声,遗传算法比传统的梯度下降慢,但其性能取决于损失函数Hessian的有效秩,这可能远小于参数的总数,尤其是在神经网络损失景观中。这一特性可能解释了遗传算法在复杂、高维问题中的可扩展性。 AI

影响 解释了遗传算法在高维人工智能搜索空间中的可扩展性,可能为未来的优化技术提供信息。

排序理由 学术论文,详细介绍了关于遗传算法机制的理论发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.NE (Neural & Evolutionary) 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

遗传算法在高维人工智能搜索中模拟了裁剪梯度下降

报道来源 [1]

  1. arXiv cs.NE (Neural & Evolutionary) TIER_1 English(EN) · Stephen Whitelam ·

    Why can genetic algorithms work in high-dimensional search spaces?

    We show that the effective dynamics of the elitist $(1+M)$ genetic algorithm is, in the limit of small mutations, clipped gradient descent on the loss in the presence of anisotropic Gaussian white noise. In expectation, therefore, a simple mutation-selection genetic algorithm fol…