实体 Gated Delta Net

Gated Delta Net

PulseAugur coverage of Gated Delta Net — every cluster mentioning Gated Delta Net across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_133174 · Jul 7 · 19:48

Weaver 适配器将自回归语言模型速度提升 4.37 倍

研究人员推出了一种新颖的自回归适配器 Weaver，旨在提高语言模型中推测性解码的效率。Weaver 从因子化起草器的 top-K 边际量构建提议树，在无需进行全词汇量投影的情况下恢复了 token 之间的条件依赖性。这种方法结合 SGLang 中针对具有 Gated Delta Net 层的模型的优化 CUDA 核，实现了比标准自回归解码快 4.37 倍的速度，并比 DFlash 基线快 24.7%。该研究已发布在 arXiv 上。