Q+A cache

研究发现：大型语言模型（LLMs）的来源归因与其缓存状态存在因果关联

研究人员调查了大型语言模型（LLMs）如何将其答案归因于提供的上下文或其内部知识。通过干预模型键值（KV）缓存进行的实验显示，修改文档缓存对来源报告没有影响。然而，在运行之间移植问题与答案（Q+A）缓存会显著影响报告的来源，移植的Q+A缓存决定了答案报告的来源。这表明在答案生成过程中产生的缓存状态因果性地决定了这些模型的来源报告。