Evolution Strategies
PulseAugur coverage of Evolution Strategies — every cluster mentioning Evolution Strategies across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
进化策略 vs GRPO：LLM 后训练产生不同的模型更新
一篇新的 arXiv 论文比较了用于大型语言模型后训练的进化策略（ES）和群组相对策略优化（GRPO）。虽然这两种方法在单任务和顺序学习场景中都能达到可比的准确性，但它们产生的模型更新却显著不同。ES 会引起更大、更广泛的变化，并伴有更多的离轨 KL 漂移，而 GRPO 则进行更小、更局部的调整。研究表明，无梯度和基于梯度的微调可以得出精度相似但几何形状不同的解决方案，从而影响知识保留和遗忘。
-
演化策略在持续AI控制任务中展现出潜力
研究人员探索了演化策略（ES）在持续控制任务中的应用，这类任务要求AI代理在适应新挑战的同时不丢失先前获得的知识。在连续MuJoCo运动任务上的实验表明，标准的ES方法会遭受严重的灾难性遗忘。研究发现，引入回放机制可显著提高知识保留能力并促进任务间的正向迁移，尽管更大的回放预算可能会降低可塑性。
-
新框架统一黑盒优化方法，引入混合算法
研究人员开发了一个统一的黑盒优化（BBO）方法理论框架，包括进化策略（ES）、基于共识的优化（CBO）和通过积分进行的优化（OVI）。该框架揭示了这些方法之间的主要区别在于它们的适应度聚合和共识范围选择。利用这些见解，研究人员引入了混合优化器，例如 ES-OVI 和 CBO-OVI，它们在现有技术之间进行插值。这些混合方法在各种基准测试中表现出改进的性能和鲁棒性，包括连续控制任务和语言模型合并。
-
New Quantized Evolution Strategies Enable Fine-Tuning of LLMs
研究人员推出了一种名为量化进化策略（QES）的新型优化范式，旨在直接在其离散参数空间内对量化大语言模型（LLMs）进行微调。该方法解决了传统微调技术依赖连续权重和反向传播的局限性，使其不适用于量化模型。QES 结合了累积误差反馈以实现精确的权重更新，并使用无状态种子重放来最小化内存使用，从而能够以低精度推理成本进行微调。与现有的零阶微调方法相比，该方法表现出更优越的性能，为完全在量化域内扩展 LLMs 铺平了道路。
-
New Operator Calculus Unifies Optimization Method Convergence Theory
研究人员开发了一个新的算子微积分框架，用于统一各种基于种群的优化方法的收敛性分析。该方法将进化策略和随机梯度方法等算法描述为基本算子的组合，从而得到由传输-反应-跳跃 (TRJ) PDE 描述的连续时间极限。该框架建立了一个模块化的李雅普诺夫原理，为认证这些复合平均场算法的收敛性提供了一个工具集。
-
新模型分析用于机器学习优化的进化策略
研究人员开发了一个新颖的模型来分析进化策略（ES）在通用问题中的适应度进展。该模型通过关注父代和子代之间的适应度关系来简化分析，绕过了底层适应度景观的复杂性。该研究严格分析了连续稳态 $(\mu+1)$-ES 的预期增长率，提供了一种使用修改后过程来确定该速率的紧密界限的通用技术。
-
新方法更快地训练节能脉冲神经网络
研究人员开发了 EGGROLL，一种新颖的无梯度脉冲神经网络（SNN）训练方法，可显著降低计算成本。该方法使用低秩分解的进化策略扰动，将内存需求从 O(mn) 减少到 O(r(m+n))。应用于 N-MNIST 数据集， EGGROLL 在训练速度上比全秩进化策略快 2.23 倍，同时达到 79.21% 的测试准确率，使其适用于无需代理梯度的神经形态硬件。
-
AE Studio 使用 Modal 训练用于数学定理证明的 AI
AE Studio 是 Modal 的咨询合作伙伴，已开发出一种使用强化学习训练 AI 模型证明数学定理的工作流程。他们比较了两种方法：分组相对策略优化 (GRPO) 和进化策略 (ES)，发现 ES 是该任务的一个有前途的替代方案。该设置利用 Modal 的基础设施进行并行 GPU 推理和隔离的 CPU 验证，从而简化了研究过程并加速了 AI 驱动的科学发现。
-
新理论分析混合整数优化的进化策略
研究人员开发了一个理论框架来分析进化策略（ES）应用于混合整数优化问题时的收敛性。他们引入了两种变体，(1+1)-LB-ES 和 (1+1)-LUB-ES，以解决连续变量过早收敛的问题。他们的分析侧重于一个特定的基准函数，表明 (1+1)-LB-ES 在处理大量整数变量时可能会遇到困难，而 (1+1)-LUB-ES 在适当的参数设置下表现出线性收敛。
-
OpenAI发现进化策略在AI训练方面可与强化学习相媲美
OpenAI的研究人员发现，进化策略（ES）这一已有数十年的优化技术，在Atari和MuJoCo等基准测试中，其性能可以与现代强化学习（RL）方法相媲美。ES的优势包括实现更简单，无需反向传播，在分布式环境中更易于扩展，以及能更好地处理稀疏奖励。这种方法比传统的RL训练智能体速度显著更快，一项实验将人形步行者（humanoid walker）的训练时间从10小时缩短到10分钟。