一位开发者探索了免费的LLM服务器如何在请求之间处理内存,发现它们通常不保留上下文。该调查涉及创建一个测试工具,发送成对的请求:第一个请求存储一个唯一的标记,第二个请求在没有任何先验上下文的情况下检索它。此过程重复了二十次,以观察服务器在独立调用中是否始终记住该标记。结论强调应将LLM服务器视为无状态的,并在每次请求时明确提供所有必要的信息,以确保可靠的性能。 AI
影响 开发人员应在每次向LLM服务器发出请求时明确传递上下文,因为不能保证状态持久性。
排序理由 该项目描述了对LLM服务器行为的深入技术研究,特别是它们的内存持久性,并提供了一种测试这种行为的实用方法。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →