PulseAugur
中
实时 08:06:13
实体 KVUse

KVUse

PulseAugur coverage of KVUse — every cluster mentioning KVUse across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_364238 ·

    KVUse通过可复用的KV缓存增强LLM推荐器效率

    研究人员开发了KVUse,一种通过将用户配置文件存储为可复用的键值(KV)缓存而非文本来提高大型语言模型(LLM)推荐器效率的新方法。该方法在arXiv论文中有所介绍,它训练轻量级的LoRA写入器来生成这些KV缓存,然后LLM可以在排名调用期间读取这些缓存而无需重新计算。KVUse在Llama-3.1-8B-Instruct上展示了吞吐量的显著提高,下游评分路径提高了4.0倍-4.5倍,配置文件更新路径提高了1.4倍-1.9倍,同时保…