Current date

提示词 Token 顺序显著影响 LLM 计费成本

一项技术分析显示，提示词 Token 的位置对其计费有显著影响，将一个 14 个 Token 的“当前日期”行放在 8,514 个 Token 提示词的开头与结尾之间，观察到了 11.21 倍的成本差异。这是由于缓存机制如何基于前缀匹配进行操作，其中第一个不同的 Token 决定了缓存命中和后续处理。分析还强调，易变字段本身的长度不影响命中，但其位置会影响，由于缓存策略，较早的位置可能成本更高。