实体
Research in Learning Technology
Research in Learning Technology
PulseAugur coverage of Research in Learning Technology — every cluster mentioning Research in Learning Technology across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的PAR方法提升语言模型长度泛化能力
研究人员推出了一种名为Progress-Aligned Recurrence (PAR) 的新方法，以提高循环语言模型在状态跟踪任务中的长度泛化能力。PAR解决了两个关键问题：它将每次迭代的预测与迄今为止的进展对齐，并重新缩放循环状态以保持一致的尺度。这种方法使模型能够显著外推到比训练时更长的序列，并在swap-S5等任务上取得高精度。
-
普林斯顿研究员提出具有无限时间深度的循环循环Transformer
普林斯顿大学的研究员Yifan Zhang提出了一种名为循环循环Transformer (RLT) 的新颖架构。该设计旨在通过将包括最终隐藏状态和分层注意力缓存的完整状态从一个Token传递到下一个Token，来增强仅解码器语言模型的时间深度。RLT架构包含一个因果编码器和一个循环解码器，每个Token的处理涉及96个逻辑块。虽然该设计规定了具有无限时间深度的潜在推理、模型-硬件协同设计和模型-RL算法协同设计的原则，但目前缺乏效率、…