角色扮演应用中的大型语言模型在有限的对话轮数后，常常会丢失角色一致性和情节细节，这不是因为缺乏记忆，而是因为对话超出了模型的上下文窗口。仅仅增加上下文窗口大小并非万全之策，因为它会带来更高的成本和延迟，并且模型在长输入中间部分的信息上表现往往更差，这种现象被称为“迷失在中间”。有效的长期对话一致性是通过递归摘要或检索增强生成等架构层实现的，它们选择性地将相关历史信息注入上下文窗口，而不是依赖于其原始大小。 AI
影响 强调了LLM原始上下文窗口在维持长期对话状态方面的局限性，并强调了需要像摘要或检索这样的架构解决方案来实现健壮的AI应用。
排序理由 该条目讨论了LLM在角色扮演场景中的常见用户体验，并解释了其背后的技术原因，提供了解决方案，但并未宣布新产品或研究突破。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →