PulseAugur
中
实时 10:24:22
实体 Multi-Branch Transformer

Multi-Branch Transformer

PulseAugur coverage of Multi-Branch Transformer — every cluster mentioning Multi-Branch Transformer across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_364431 ·

    多分支Transformer架构提升语言模型质量和推理效率

    研究人员推出了一种新颖的架构——多分支Transformer (MBT),它通过并行参数化分支而非标准的顺序块来处理输入。这种方法与共享KV缓存相结合,与传统Transformer相比,在语言模型质量和推理效率方面均有所提高。MBT变体在预训练实验中表现出优越的性能,并且Joint-KV的引入通过减少KV缓存存储和提高GPU上的解码吞吐量,进一步优化了长上下文的推理。