PulseAugur
中
实时 10:21:21
实体 E5M2

E5M2

PulseAugur coverage of E5M2 — every cluster mentioning E5M2 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_332666 ·

    新的 GAAC 技术为 LLM 推理提供无损 KV 压缩

    研究人员开发了 GAAC,一种用于大型语言模型 (LLM) 中键值 (KV) 缓存的无损压缩技术。该方法利用指数冗余来减少存储并加速注意力机制,而无需近似 KV 值。GAAC 在 BF16 KV 缓存上实现了显著的压缩率,并在 NVIDIA DGX Spark 和 Apple M4 硬件上展示了性能提升,从而降低了个人设备上 LLM 推理的内存使用量并提高了吞吐量。