Ryan Skidmore

Cloudflare 通过缓存和模型优化将 AI 代码审查成本降低 68%

Cloudflare 通过优化提示缓存、消除不必要的模型调用以及在质量得到保证的情况下战略性地降低模型复杂度，将其 AI 代码审查推理成本从每次审查 2.46 美元大幅降低至 0.77 美元，降幅达 68%。影响最大的变化是提高了缓存命中率，从平均 85.7% 提高到 91% 以上，这本身就占了节省成本的很大一部分。这些优化还导致审查时间中位数急剧缩短，可操作的发现增加。