KGCache

KGCache系统加速LLM知识图谱推理

研究人员开发了KGCache，一种新颖的内存缓存系统，旨在提高大型语言模型（LLM）在知识图谱推理时的效率。KGCache存储频繁访问的单跳知识图谱邻域，减少不同问题之间的冗余查询。该系统兼容迭代遍历和单次规划的KGQA范式。在WebQSP和CWQ数据集上的评估显示，实体重用显著，实体缓存将KG检索速度提高了1.91倍，语义上下文缓存实现了高达1.06倍的整体系统加速。