推理工程：LLM 运营中隐藏的成本驱动因素

推理工程是 LLM 运营中一个关键但常被忽视的层面，通过管理量化、推测解码和 MoE 路由等因素，显著影响成本。FP8 KV 缓存和提示缓存等创新正在涌现，以优化 token 效率并降低费用。例如，一个使用 Claude Sonnet 4.6 的团队每月花费约 4,800 美元，其中模型本身占 960 美元，其余 3,840 美元归因于这一推理层。 AI

影响 强调了推理工程的重大成本影响以及用于优化的新兴技术。

排序理由 文章讨论了技术及其对 LLM 成本的影响，而不是新的发布或重大的行业事件。

在 Towards AI 阅读 →

• Apple Inc.
• Claude Code
• Claude Sonnet 4.6
• DeepSeek
• FP8 KV cache
• Llama-3.1:8b
• Mlx
• MoE routing
• M-series Macs
• Ollama
• Prompt Caching for Token Efficiency
• quantization
• Qwen3.5 35B
• speculative decoding
• vLLM

• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →