实体
Eggroll
Eggroll
PulseAugur coverage of Eggroll — every cluster mentioning Eggroll across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
EGGROLL 方法通过低秩演化策略增强 LLM 训练
研究人员开发了 EGGROLL 方法，通过使用低秩高斯乘积而非密集权重扰动，使演化策略在大型语言模型上更加实用。这种方法虽然计算效率高，但具有可能影响稳定性的几何含义。该研究引入了 LOO-ROLL，一种保持有限秩种群场并减少 transformer 块均方误差的留一法估计器。在 GSM8K 基准测试中，LOO-ROLL 显著提高了多达 80 亿参数模型的准确性。
-
新方法更快地训练节能脉冲神经网络
研究人员开发了 EGGROLL，一种新颖的无梯度脉冲神经网络（SNN）训练方法，可显著降低计算成本。该方法使用低秩分解的进化策略扰动，将内存需求从 O(mn) 减少到 O(r(m+n))。应用于 N-MNIST 数据集， EGGROLL 在训练速度上比全秩进化策略快 2.23 倍，同时达到 79.21% 的测试准确率，使其适用于无需代理梯度的神经形态硬件。