实体
Vaibhav Singh
Vaibhav Singh
PulseAugur coverage of Vaibhav Singh — every cluster mentioning Vaibhav Singh across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
DiffuMamba论文介绍使用Mamba骨干网络的高效扩散语言模型
研究人员开发了DiffuMamba，这是一种利用Mamba骨干网络来提高推理效率的新型扩散语言模型。这种方法解决了基于Transformer的模型存在的二次注意力或KV缓存开销问题，尤其是在长序列处理方面。DiffuMamba及其混合变体DiffuMamba-H在下游任务上的性能与Transformer模型相当，同时实现了显著更高的吞吐量。研究表明，Mamba混合器结合缓存高效的块扩散，为基于扩散的生成系统提供了实现线性扩展序列建模的…
-
新的SDP框架将模型训练内存使用量减少高达60%
研究人员开发了一种名为子网络数据并行（SDP）的新型分布式训练框架，以解决预训练大型神经网络的高内存需求和通信成本问题。SDP将模型划分为结构化子网络，这些子网络可以在工作节点之间进行训练，而无需交换激活值，从而显著降低了每个设备的内存使用量。该框架采用了反向和前向掩码技术，以及神经元或块级别的构建策略，以在FLOP匹配的设置中实现效率提升和性能改进。