一个名为 Wormhole Hyperconnections (WHC) v1.0.0 的新库已发布,它提供了标准残差连接在神经网络中的替代方案。WHC 引入了并行通道和可学习的混合矩阵,将训练速度提高了 6-15%,并降低了基准任务上的最终损失。该库旨在提高稳定性,并使用少量参数来控制其混合矩阵。 AI
影响 为优化神经网络训练速度和稳定性提供了一个新工具。
排序理由 发布了一个用于神经网络基础设施的新软件库。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →