PulseAugur
中
实时 04:16:15
实体 KVBoost

KVBoost

PulseAugur coverage of KVBoost — every cluster mentioning KVBoost across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
时间线
  1. 2026-05-22 product_launch KVBoost, a library for accelerating HuggingFace models, was launched. 来源
  2. 2026-05-22 product_launch KVBoost was launched as an open-source project for optimizing HuggingFace models. 来源
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 3 条
  1. TOOL · CL_217833 ·

    KVBoost系统通过分块级缓存重用提高LLM推理速度

    研究人员开发了KVBoost，一个旨在提高大型语言模型（LLM）推理效率的新颖系统。该系统通过实现分块级键值（KV）缓存重用，无论提示内容在何处，都解决了基于Transformer的LLM固有的高预填充延迟问题。KVBoost采用双哈希键控方案以实现灵活的缓存匹配，并结合了选择性重计算（SelectiveRecompute）和混合缓存重计算（CacheBlendRecompute）等修复策略来减轻注意力边界错误。此外，它还利用非对称K…
  2. TOOL · CL_43467 ·

    KVBoost库优化AI模型以提高内存效率

    KVBoost是一个新推出的Python库，旨在优化AI模型的内存效率。它旨在减少VRAM使用量并提高性能，而无需修改代码。该库可通过pip install获取，旨在帮助开发人员节省GPU资源。
  3. RESEARCH · CL_43455 ·

    KVBoost 通过块级 KV 缓存重用加速 HuggingFace 模型

    KVBoost 是一种新的技术，可在块级别重用 KV 缓存，显著加速 HuggingFace 模型。此优化可以将首次令牌生成时间 (TTFT) 的性能提高 5 倍到 48 倍。该项目是开源的，可供开发人员集成到他们的 AI 应用程序中。