实体 GraniKV

GraniKV

PulseAugur coverage of GraniKV — every cluster mentioning GraniKV across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_206115 · Aug 18 · 04:00

GraniKV 通过非对称KV缓存分页提升AI多智能体吞吐量

研究人员开发了GraniKV，一种新颖的KV缓存分页系统，旨在提高多智能体AI系统的效率，特别是那些具有长共享前缀的系统。GraniKV采用非对称粒度方法，将共享前缀连续分配，并将每个请求的后缀进行细粒度分配。该系统集成了调度器，根据工作负载特性选择最佳后端，从而在现有生产基线之上实现了显著的吞吐量提升。例如，GraniKV在Llama-3.1-8B上实现了高达2.16倍的输出令牌吞吐量，并在传统方法表现不佳的异构多智能体服务场景中展…