DeepSeek's R-series

大型语言模型推理输出各不相同，影响计费和可审计性

本文探讨了不同的 LLM 如何处理和暴露其推理过程，这会影响用户计费和可审计性。文章详细介绍了四种不同的方法：共享预算（推理与答案共享令牌限制）、推理的独立字段、启用推理输出的显式标志，以及将推理融合到内容中的模型。作者强调了潜在的陷阱，例如表现为端点故障的预算陷阱，以及理解特定 API 合约的重要性，尤其是在使用网关或翻译通道时，而不仅仅是模型名称。