一位开发者探索了对大型语言模型施加代币预算如何影响其行为,发现约束将AI的优化从生成最大输出转移到完成特定任务。通过使用一个名为Token Sensei的工具,该工具可以跟踪确切的代币使用情况并在达到预算时暂停执行,开发者观察到像Claude Sonnet 4.5这样的模型优先完成任务,而不是无限制地生成。这种方法需要外部强制执行,因为模型在预算方面本质上是过于乐观的,仅靠微调是不够的。 AI
影响 可能需要对LLM进行外部预算强制执行,以便它们优化任务完成,而不是仅仅最大化输出。
排序理由 开发者创建的工具演示。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →