研究人员开发了KVUse,一种通过将用户配置文件存储为可复用的键值(KV)缓存而非文本来提高大型语言模型(LLM)推荐器效率的新方法。该方法在arXiv论文中有所介绍,它训练轻量级的LoRA写入器来生成这些KV缓存,然后LLM可以在排名调用期间读取这些缓存而无需重新计算。KVUse在Llama-3.1-8B-Instruct上展示了吞吐量的显著提高,下游评分路径提高了4.0倍-4.5倍,配置文件更新路径提高了1.4倍-1.9倍,同时保持了可比的排名质量。 AI
影响 这项技术可以显著降低基于LLM的推荐系统的服务成本。
排序理由 该集群描述了在学术论文中提出的一种提高LLM效率的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →