llm-contract

开发者构建了 CI 安全的工具，用于可靠的结构化 LLM 输出

一位开发者创建了一个名为 `llm-contract` 的评估工具，以确保结构化 LLM 输出在 CI 管道中的可靠性。该系统强制执行所有 LLM 响应的模式（schema）一致性，在标记人工审查之前，会针对违规行为提供反馈和重试。该工具通过重放已记录的测试用例来以 CI 安全的方式运行，避免在评估期间进行实时 API 调用，并确保提示或模型的更改都经过严格测试。