context_ledger.py

大型语言模型的上下文窗口是预算，不是记忆，并有复杂的截断规则

大型语言模型的上下文窗口常常被误解为直接的记忆容量。实际上，它更像一个预算，在系统提示、工具模式和预留输出空间消耗令牌后，用户实际提示才被考虑。这意味着有效的提示预算远小于总窗口大小。此外，决定何时达到上下文限制的截断策略并不标准化，它们可以移除中间的消息，而不仅仅是最旧的消息，这可能导致代理重新提问或丢失标识符或错误代码等关键信息。建议开发者将上下文窗口视为缓存，并使用显式的锚定机制来处理重要数据，而不是依赖摘要或假设简单的从旧到新截断。