实体 Radix Cache

Radix Cache

PulseAugur coverage of Radix Cache — every cluster mentioning Radix Cache across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_39129 · May 19 · 13:28

通过 LeetCode 问题解释 SGLang 的 Radix Cache

Radix Cache 是 SGLang 高吞吐量 LLM 处理中的一个关键组件，通过跨请求重用已计算的 KV 缓存前缀来优化性能。这通过将这些前缀存储在 Radix 树中来实现，类似于 LRU 缓存管理条目。该实现结合了来自经典 LeetCode 问题（如 LRU Cache 和 Kth Largest Element in a Stream）的算法，以有效地处理数据驱逐和检索。