Gal Zahavi

LLM缓存成本被忽视，建议对提示进行排序

Favur的一名工程师发现，在使用LLM API时，一个重要但常常被忽视的成本是缓存的读写。虽然许多人关注输入/输出令牌，但观察到的API账单中有84%归因于缓存操作。该工程师解释说，提示缓存会匹配精确的字节前缀，即使是像重写对话历史这样的小改动也会使这些缓存失效，从而导致成本增加。为了缓解这种情况，建议对提示进行排序，使可变信息出现在静态指令下方，将此边界视为严格的接口，并通过确保静态部分是确定性生成的来测试缓存稳定性。