对 Meta 的 Muse Spark 1.1 模型进行的最新分析显示，在处理一个大型软件开发项目时，该模型实现了高达 99.9932% 的缓存命中率。该模型消耗了超过 6790 万个 token，几乎所有 token 都从缓存中提供。然而，具体的缓存机制仍不清楚，因为未缓存的部分每次请求始终恰好是 4 个 token，而与请求的复杂性或角色无关。这种缓存效率显著降低了成本，吸收了约 85% 的潜在费用，尽管确切的节省额受到缓存读取成本和未缓存输出 token 的影响。 AI
影响 通过先进的缓存技术，展示了代理工作负载显著的成本节省潜力，但具体机制仍需进一步阐明。
排序理由 对现有模型性能和成本影响的分析，而非新发布或研究突破。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
