PulseAugur
实时 23:49:31
日本語(JA) おはようございます。 チャットのAPIは前回の会話を記憶していないので、毎回すべての履歴を送り直しています。往復が増えるほど送信量が膨らみ、料金も待ち時間も伸びていく。長い会話ほど1回が重くなる構造です。 # AI

聊天 API 设计通过重新发送完整的对话历史记录来增加成本和延迟

当前的聊天 API 架构要求每次交互都重新发送整个对话历史记录,因为它们不保留先前交互的记忆。这会导致传输量增加、成本升高和等待时间延长,特别是对于较长的对话,每次的开销都会更大。 AI

影响 聊天 API 中的这种设计选择可能导致 AI 驱动的对话代理的运营成本增加和响应时间变慢。

排序理由 该项目讨论了一个技术限制及其对成本和延迟的影响,这是一种观点或分析,而不是事实事件。

在 Mastodon — sigmoid.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

聊天 API 设计通过重新发送完整的对话历史记录来增加成本和延迟

报道来源 [1]

  1. Mastodon — sigmoid.social TIER_1 日本語(JA) · [email protected] ·

    Good morning. Since the chat API does not remember previous conversations, I have to resend all the history each time. As the number of round trips increases, the transmission volume swells, and both the cost and waiting time increase. It's a structure where longer conversations become heavier per turn. # AI

    おはようございます。 チャットのAPIは前回の会話を記憶していないので、毎回すべての履歴を送り直しています。往復が増えるほど送信量が膨らみ、料金も待ち時間も伸びていく。長い会話ほど1回が重くなる構造です。 # AI