当前AI开发中的缓存策略侧重于优化推理过程，例如缓存嵌入、检索到的文档和最终响应。然而，这种方法仍然需要模型为每个请求执行大量计算。作者建议转变视角，提出AI基础设施可以从缓存“理解”而非仅仅是输出中受益。这将涉及重用综合知识，类似于Web基础设施如何通过缓存计算而发展。Coalent公司正在通过将上下文视为可重用信息来探索这一方向。 AI
影响 这种视角转变可以通过重用综合知识、减少冗余计算来构建更高效的AI系统。
排序理由 该条目是一篇评论文章，讨论了AI基础设施的潜在未来方向，特别是缓存策略。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
