type checker

开发者使用测试套件来门控 LLM 模型选择，节省成本

一位开发者设计了一个工作流程，通过采用分层模型系统来优化 LLM 的使用。系统不会随机选择模型，而是首先尝试使用免费或低成本的模型来执行任务。如果该模型失败（由现有的测试运行器、linter 或类型检查器等工具确定），任务将升级到更强大、更昂贵的模型。这种方法优先处理那些可以通过低成本模型验证输出的任务，而将高成本模型用于主观性强或风险较高的任务，这些任务中的错误成本更高。