Galahad

Galahad 内存层使 LLM 读取成为一次性成本

研究人员开发了 Galahad，这是一种新颖的内存层，旨在使大型语言模型 (LLM) 读取成为一次性成本，从而显著提高 LLM 服务效率。Galahad 通过保存和加载模型的键值 (KV) 状态来解决无状态服务的问题，防止对已处理文本进行重复计算。这项创新将 LLM 服务从无状态推理模型转变为有状态推理模型，在召回测试中速度和能耗方面得到了显著改善。