实体
Tiny-Shakespeare
Tiny-Shakespeare
PulseAugur coverage of Tiny-Shakespeare — every cluster mentioning Tiny-Shakespeare across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新的基于内容的寻址方法改进了大型语言模型中的长上下文处理
研究人员提出了一种新颖的方法来处理语言模型中的长上下文窗口，该方法采用基于内容的寻址，而不是传统的旋转位置嵌入（RoPE）。这种新方法将令牌流划分为单元，在单元内使用RoPE处理局部位置，并根据内容分配地址以进行单元间通信。在字符级Tiny Shakespeare诊断上的实验表明，与连续RoPE相比，困惑度显著提高，这表明该方法可以增强在扩展上下文中的信息检索和使用。
-
蒙特卡洛法为训练深度神经网络提供无梯度替代方案
研究人员展示了一种使用简单蒙特卡洛算法训练深度神经网络的无梯度方法。该方法通过随机变异参数并在损失降低时保留它们，从而绕过了反向传播的常见问题，例如梯度消失和爆炸。该方法已被证明在训练具有20多层的网络甚至Transformer架构以完成图像分类和语言建模等任务方面是有效的。
-
Transformer 中学习的令牌路由可适应计算深度以提高效率
研究人员为 Transformer 模型开发了一种名为令牌选择性注意力 (TSA) 的新技术，该技术允许模型动态调整每个令牌的计算深度。该方法使用轻量级的学习门来决定是否跳过 Transformer 块之间的残差更新，从而使整个过程可端到端微分，并且参数开销极小。TSA 在字符级语言建模任务上显著节省了令牌-层操作，减少了 14-23%，而质量损失不到 0.5%，并且在相似效率水平下，与早期退出方法相比，性能有所提高。