J. Gold Associates

DeepSeek 开源 DeepInfer 以降低 AI 推理成本

DeepSeek 已将其 DeepInfer AI 推理框架开源，旨在降低企业的 AI 成本，并确立其作为领先的开源提供商的地位。此举尤其重要，因为企业正努力应对不断上涨的 token 费率和对高效 AI 基础设施的需求。DeepInfer 旨在优化 DeepSeek 模型，通过减少推理工作负载所需的 GPU 数量来加速响应生成并降低计算成本。