LLM Chat API

LLM API 参数 'max_tokens' 对推理模型的行为不同

一位开发者遇到了一个问题，即一个推理语言模型尽管设置了足够的 `max_tokens`，却返回了空回复。问题在于模型在生成任何可见输出之前，就将其全部令牌预算消耗在了内部的“思考”令牌上。开发者通过增加推理模型的令牌预算，并实现对空内容和“长度”完成原因的检查，将其作为一种不同的失败状态来解决此问题。这凸显了看似通用的 API 参数在不同模型类型上的行为可能存在差异，因此需要仔细审计模型特定的令牌使用情况。