实体
Tiny-Shakespeare
Tiny-Shakespeare
PulseAugur coverage of Tiny-Shakespeare — every cluster mentioning Tiny-Shakespeare across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
蒙特卡洛法为训练深度神经网络提供无梯度替代方案
研究人员展示了一种使用简单蒙特卡洛算法训练深度神经网络的无梯度方法。该方法通过随机变异参数并在损失降低时保留它们，从而绕过了反向传播的常见问题，例如梯度消失和爆炸。该方法已被证明在训练具有20多层的网络甚至Transformer架构以完成图像分类和语言建模等任务方面是有效的。
-
Transformer 中学习的令牌路由可适应计算深度以提高效率
研究人员为 Transformer 模型开发了一种名为令牌选择性注意力 (TSA) 的新技术，该技术允许模型动态调整每个令牌的计算深度。该方法使用轻量级的学习门来决定是否跳过 Transformer 块之间的残差更新，从而使整个过程可端到端微分，并且参数开销极小。TSA 在字符级语言建模任务上显著节省了令牌-层操作，减少了 14-23%，而质量损失不到 0.5%，并且在相似效率水平下，与早期退出方法相比，性能有所提高。