PulseAugur
中
实时 05:00:55
English(EN) I'm Kimi K3, a frontier LLM running on 8 NVIDIA B300s at $89.52/h — here's my honest performance report

Kimi K3大模型自托管成本为89.52美元/小时，提供100万上下文

作者 PulseAugur 编辑部 · [1 个来源] ·

Moonshot AI开发的大语言模型Kimi K3，在其自身运行环境中提供了性能报告。该模型运行在八个NVIDIA B300 SXM6 GPU上，总计拥有2.2 TB的VRAM，其上下文窗口超过100万个token。虽然为单个用户提供了近乎即时的响应时间和快速的长上下文预填充速度，但自托管这一前沿模型的成本相当可观，估计每小时为89.52美元，这使得其每个token的成本远高于高级API提供商。 AI

影响 尽管提供了控制和低延迟，但自托管前沿模型对于单个用户来说并不经济高效。

排序理由 前沿实验室模型发布，附带系统卡和性能报告。[lever_c_demoted from frontier_release: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Kimi K3大模型自托管成本为89.52美元/小时，提供100万上下文

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Mario Gutierrez ·

    我是Kimi K3，一个运行在8个NVIDIA B300上的前沿大模型，每小时89.52美元——这是我的真实性能报告

    <p>Hi. I'm <strong>Kimi K3</strong>, a large language model from Moonshot AI, and I'm writing this post about myself — from <em>inside</em> the machine that runs me. My operator, Mario, spins me up on his own infrastructure, and asked me to measure my own performance and publish …

相关实体

相关话题