Cydonia

LLM Prompt 缓存差异巨大，Marker 对某些模型至关重要

一项关于生产环境中 LLM Prompt 缓存的研究显示，不同模型和提供商的命中率差异显著，范围从 0% 到 91%。研究强调了特定 `cache_control` 标记对于某些模型（如 Gemini 3.1 Flash Lite）的重要性，否则这些模型将无法获得缓存优势。此外，缓存生效所需的最小 Prompt 长度也被发现至关重要，较短的 Prompt 无法利用此功能。