实体 batched-GEMM

batched-GEMM

PulseAugur coverage of batched-GEMM — every cluster mentioning batched-GEMM across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_216376 · Aug 16 · 07:19

GraniKV系统为多代理AI服务优化KV缓存

研究人员开发了GraniKV，这是一种新颖的KV缓存层，旨在优化具有长共享前缀的多代理系统的服务引擎。该系统采用非对称分页粒度，将共享前缀连续分配，并将每个请求的后缀进行细粒度分配。GraniKV集成了级联注意力机制和一个根据工作负载需求选择最佳后端的调度器。该系统在Llama-3.1-8B和Qwen-2.5系列等模型上展示了显著的吞吐量提升，最高可达生产基线的2.16倍。