Gemini-1.5-Flash-8B

LLM推理成本暴跌，但用户账单因使用量增加而飙升

尽管LLM推理价格大幅下降，但由于采用了更大的模型和始终在线的代理基础设施，许多用户的账单却在增加。虽然在MMLU等基准测试中，同等性能下每token的成本已暴跌高达280倍，但六个月内LLM API的总支出却翻了一番。这种差异的出现是因为每任务成本与每token成本不同，用户选择了更复杂和持续的AI操作。来自投资组合理论的“效率前沿”等概念正被应用于LLM推理，以帮助用户优化延迟和吞吐量之间的权衡，或识别真正推动效率曲线本身的技术。