text8
PulseAugur coverage of text8 — every cluster mentioning text8 across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
baseVultra：新的紧凑型非线性递归单元在特定场景下优于LSTM/GRU
研究人员推出了一种新颖的紧凑型非线性递归神经网络单元baseVultra，专为流式序列建模而设计。这种新架构将计算资源从门变换重新分配到候选生成，其特点是将集中的密集递归预算放在单个矩阵上，并用更简单的对角线交互替换递归门矩阵。在TinyShakespeare和text8数据集上的实验中，baseVultra在具有受限隐藏状态容量的紧凑型场景下，与LSTM和GRU模型相比，表现出具有竞争力或更优越的性能。
-
GaP-MoE 增强了混合专家模型中的专家专业化
研究人员推出了一种新颖的稀疏混合专家（SMoE）模型方法 GaP-MoE，旨在防止表示坍塌并增强专家多样性。与修改损失函数或路由器架构的先前方法不同，GaP-MoE 直接操纵专家输出梯度。它通过将跟随专家梯度投影到领导专家近期梯度的正交补集上来实现专家专业化，从而在不影响任务目标的情况下消除方向重叠。在基于 BERT 的模型对 GLUE 等微调任务以及在 WikiText-103、enwik8 和 text8 等数据集上从头预训练的基…
-
新的二元离散扩散模型增强了推理任务
研究人员推出了一种名为二元离散扩散的新型离散扩散模型方法，专为推理和规划任务设计。与先前一步擦除令牌身份的方法不同，二元离散扩散为每个位置维护一组候选令牌，代表部分不确定性。该方法在数独极难版、Boxoban 和图着色等任务上表现优于现有基线，并在语言建模方面也取得了有竞争力的结果。
-
WAV v1 通过多分辨率残差路由增强Transformer训练
研究人员推出了一种新颖的方法WAV v1，用于改进深度仅解码器Transformer的训练。该技术通过引入多分辨率细节基来增强残差路由，这些细节基捕获了关于注意力（attention）和MLP更新的方向信息，以及早期与晚期子层动力学。WAV v1在TinyStories和Text8等语言建模任务中表现出显著优势，尤其是在24层和48层等更深的层级中，以最小的参数开销超越了现有方法。
-
新的SHARP框架增强了AI的长程时间模式识别能力
研究人员推出了一种新颖的SHARP框架，旨在改进序列模型在流数据中学习长程时间模式的方式。SHARP将记忆积累与模式识别分离，能够在不进行广泛反向传播的情况下有效适应动态变化。该框架受啮齿动物睡眠的启发，在离线阶段使用加速回放记忆痕迹来增强长期上下文保留和预测性能。