responseCacheMiddleware

LLM响应缓存必须包含结构化输出的模式

缓存LLM响应不仅需要匹配提示词，结构化输出的模式也必须是缓存键的一部分。这是因为不同的模式，即使看起来相似，也可能强制执行不同的验证规则。例如，一个将姓名细化为特定为'Asha'的模式，会使之前为更通用的姓名提取而缓存的响应无效。ShapeCraft等库通过将模式纳入缓存键来解决此问题，确保验证步骤不会被绕过，并且只有真正等效的请求才会共享缓存结果。