AiTokenBudget

开发者通过准确的字符/标记估算修复了 LLM 标记溢出错误

一位开发者遇到了一个问题，尽管有截断机制，但 LLM 摘要任务因超出标记限制而失败。问题源于两个错误：首先，连接器共享的 `maxTokens` 设置被错误地应用于输入截断和输出预算，导致对输入额度的过高估计。其次，用于截断的每字符/标记启发式设置为 3.0，而实际文本由于时间戳和短片段，每字符/标记密度更高（2.91），导致溢出。修复措施包括实施特定任务的标记预算，并使用更准确、经过测量的每字符/标记值（2.5）。