Infrastructure Lab

开发者的模拟器显示公司在人工智能上多付了 80% 的费用

一位开发者创建了一个实时模拟器，以证明公司在人工智能服务上支付的费用过高，潜在节省可达 80% 以上。确定的核心问题是将所有人工智能请求（无论复杂程度如何）都发送到昂贵的尖端模型。提出的解决方案是一个三层路由系统：一个用于重复查询的语义缓存，一个用于简单任务的更便宜的“flash-class”模型，以及仅用于复杂推理的尖端模型。这种架构更改，而不是供应商谈判，被认为是有效的人工智能成本治理和提高弹性的关键。