用户质疑为什么主要的超大规模语言模型 (LLM) 提供商没有更清楚地解释其提示缓存机制。尽管提示缓存对生产成本有重大影响，但相关信息通常被埋藏在定价页面、文档或 API 说明中，导致用户难以理解和管理其支出。 AI
影响 提示缓存缺乏透明度可能导致 AI 运营商产生意外成本。
排序理由 用户对行业常见做法的评论。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
LLM 提供商对提示缓存的解释不足，影响用户成本
报道来源 [1]
-
🤖 为什么感觉大型LLM提供商似乎在刻意隐藏提示缓存？我知道信息就在那里。在定价页面、文档或API说明的某个地方。但是
🤖 Why does it feel like big LLM providers are literally hiding prompt caching? I know the info is there. Somewhere in the pricing pages, docs, or API notes. But for something that can seriously change what you pay in production, it is weirdly under-explained. expeciely for ot... …