llm_eval

LLM 评估缓存缺陷揭示：嵌套评判模型调用绕过了缓存

一位开发者发现其 LLM 评估缓存系统中存在一个缺陷，其中嵌套的“评判”模型调用未被缓存，导致持续集成 (CI) 运行中出现意外成本和非确定性结果。问题源于缓存仅跟踪主要的测试模型，而未跟踪用于评分的次要评判模型。解决方案是将评判模型调用包装在缓存机制内，确保主模型和评判模型的响应都存储在缓存中并从中检索，从而使 CI 运行真正免费且确定。