一位独立开发者在测试DeepSeek的V4-Pro模型时发现,该API无视指定的Token限制,导致Token消耗过多并增加了成本。该模型默认的推理模式为内部思考过程生成了数千个Token,导致可见答案为空白,账单也随之膨胀。尽管API接受了诸如`max_completion_tokens`甚至自定义参数,但似乎并未强制执行任何实际限制。开发者发现,明确禁用推理是实现其应用程序Kai可预测成本和性能的必要条件。 AI
影响 凸显了开发人员在集成LLM时,API参数执行和成本管理方面可能存在的问题。
排序理由 开发者对现有模型API参数和行为的测试。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →