cold shard

开发者的提示缓存失误增加了成本；简单的计算本可以避免

一位开发者发现，为文档问答服务实现提示缓存，由于只有 4% 的低缓存命中率，意外地将成本增加了 5%。问题源于一个包含动态时间戳的系统提示，导致缓存数据失效。通过将时间戳移至提示的可变部分，缓存命中率提高到 71%，显著降低了成本。开发者强调了事先进行简单计算的重要性，以确定缓存具有成本效益所需的命中率，并指出他们的合同对缓存写入收取了额外费用。