沙盒测试显示,通过 Responses API 和 Codex OAuth 访问的 GPT-6.2 Sol,在合成提示下缓存覆盖率显著降低。将系统提示从顶层指令移至输入历史中的第一个开发者消息,可将缓存覆盖率恢复到接近 99%,与 GPT-6.1 Sol 对照组相当。此发现是初步的沙盒结果,不能保证实测成本节省或解决指令缓存的普遍性问题。 AI
影响 这一发现可能通过提高缓存命中率,从而提高 LLM 推理效率,并可能降低使用该 API 的开发者的成本和延迟。
排序理由 该条目描述了与 LLM 缓存行为相关的技术发现,并提出了一个修复草图,属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →