PulseAugur
中
实时 06:16:16
实体 Semi-Unified Memory

Semi-Unified Memory

PulseAugur coverage of Semi-Unified Memory — every cluster mentioning Semi-Unified Memory across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_269454 ·

    新的大语言模型服务系统通过双精度优化KV缓存内存

    研究人员开发了DPS，一个双精度大语言模型服务系统，它动态调整模型精度以优化KV缓存内存。通过在KV缓存需求高的时期切换到模型的低精度变体，DPS可以将未使用的权重内存重新用于KV缓存块。这种基于半统一内存（SUM）的方法，在保持FP16级别精度的同时，将持续吞吐量提高了3.3倍，有效pass@1提高了41个百分点。