Tickerr dot ai

开发者提出LLM漂移检测服务，以应对静默性能下降问题

一位开发者正在提议一项新服务，用于检测大型语言模型（LLM）性能的静默下降，超越了标准的API健康检查。该工具将运行外部金丝雀测试，以监控JSON合规性、指令遵循和拒绝行为等方面，并将当前模型输出与历史基线和同类模型进行比较。开发者正在寻求关于该服务的技术可行性、有价值的警报类型以及潜在定价的反馈，特别是对于代理系统而言，因为细微的性能变化可能导致重大的运营故障。