大型语言模型因其非确定性和高成本的特性，正在挑战既有的系统设计原则。开发者必须找到新的方法来处理 LLM 交互，使其能够应对连接中断并避免不必要的 token 支出。这需要摆脱假设稳定、可预测通信的传统客户端-服务器模型。 AI
影响 LLM 的非确定性和成本等特性，要求为构建有弹性且高效的应用程序设计新的系统模式。
排序理由 文章讨论了 LLM 特性对系统设计的影响，提供了观点或分析，而非新的发布或事件。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
🌩️ LLMs are breaking 20 year old system design — /dev/knill ｢ LLM responses are not deterministic, and are not cheap. If you’re paying for tokens, you don’t want to waste them because the client went into a train tunnel and the connection dropped. You also don’t want to have to t…