实体
text8
text8
PulseAugur coverage of text8 — every cluster mentioning text8 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
WAV v1 通过多分辨率残差路由增强Transformer训练
研究人员推出了一种新颖的方法WAV v1，用于改进深度仅解码器Transformer的训练。该技术通过引入多分辨率细节基来增强残差路由，这些细节基捕获了关于注意力（attention）和MLP更新的方向信息，以及早期与晚期子层动力学。WAV v1在TinyStories和Text8等语言建模任务中表现出显著优势，尤其是在24层和48层等更深的层级中，以最小的参数开销超越了现有方法。
-
新的SHARP框架增强了AI的长程时间模式识别能力
研究人员推出了一种新颖的SHARP框架，旨在改进序列模型在流数据中学习长程时间模式的方式。SHARP将记忆积累与模式识别分离，能够在不进行广泛反向传播的情况下有效适应动态变化。该框架受啮齿动物睡眠的启发，在离线阶段使用加速回放记忆痕迹来增强长期上下文保留和预测性能。