RapidNative

AI 代理成本在没有缓存的情况下飙升 40 倍，促使架构转变

作者正在评估使用 Cerebras 硬件进行 LLM 推理的成本效益，特别是使用 GLM 4.7。虽然 Cerebras 提供了令人印象深刻的速度，但缺乏提示缓存导致与支持它的提供商相比成本显著更高，其中一个实例显示长对话的 token 成本存在 40 倍的差异。为了缓解这种情况，他们正在尝试一种拆分代理架构，在 Cerebras 上使用更便宜的 GPT OSS 120B 模型作为主代理，同时将屏幕生成子代理保留在 GLM 4.7 上…