PulseAugur
中
实时 10:13:02
实体 Zhou Zhongzhu

Zhou Zhongzhu

PulseAugur coverage of Zhou Zhongzhu — every cluster mentioning Zhou Zhongzhu across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_357822 ·

    新的OSCAR方法将LLM KV缓存大小削减8倍，提升速度

    研究人员开发了OSCAR，一种将KV缓存量化到2位精度的新颖方法，显著减少了大型语言模型的内存使用并提高了推理速度。该技术将量化基与注意力机制对齐，即使在极度压缩的缓存下也能保持准确性。OSCAR已集成到SGLang和vLLM等服务引擎中，在各种基准测试和模型规模上均显示出吞吐量和解码速度的显著提升。