Ministral 3 family

LLM缓存读取价格显著分化，影响总成本

对大型语言模型（LLM）定价的比较显示，通常被忽视的缓存读取成本对总体费用有重大影响。虽然表面价格关注每百万输入/输出令牌的费用，但重复使用缓存提示的成本可能相差20到50倍。这种差异意味着，初始价格相似的模型在上下文重复使用时，总成本可能大相径庭，从而影响基于代理的工作流程的可行性。一些模型，如Mistral Small 4和Mistral 3系列，并未公布缓存读取价格，使得缓存工作负载的成本建模变得困难。