大型语言模型（LLM）以称为令牌的离散单元处理信息，“上下文窗口”定义了模型在单个请求中可以处理的最大令牌数。虽然早期模型的令牌数量限制在几千个，但随着技术的进步，这一数字已超过一百万，从而能够处理分析整个法律文件或代码库等新用例。然而，仅仅填满上下文窗口并不能保证更好的结果，因为模型可能会在长输入中间的信息中遇到困难，这种现象被称为“中间迷失”。 AI
影响 扩展的上下文窗口支持更复杂的任务，如分析大型文档和代码库，但需要仔细管理以避免性能下降。
排序理由 该集群讨论了LLM上下文窗口的演变和影响，这是模型架构和能力的一个技术方面。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<h2> A definição curta </h2> <p>A janela de contexto é o número total de tokens que um LLM pode processar em uma única requisição. Tokens incluem tudo enviado ao modelo: a instrução do sistema, histórico de conversa, documentos recuperados, definições de ferramentas e a mensagem …
<h2> The short definition </h2> <p>The context window is the total number of tokens an LLM can process in a single request. Tokens include everything sent to the model: the system instruction, conversation history, retrieved documents, tool definitions, and the user message. Anyt…