PulseAugur
中
实时 16:31:22
English(EN) Homelabber Runs 2.8-Trillion-Parameter AI Model on CPU With Optane Memory A Reddit user ran Moonshot AI's Kimi K3 model on a 40-core Xeon CPU using second-gen O

Homelabber 使用 Optane 内存通过 CPU 运行庞大的 2.8T 参数 AI 模型

作者 PulseAugur 编辑部 · [2 个来源] ·

一位 Reddit 用户成功地仅使用 CPU 和第二代 Intel Optane Persistent Memory 模块运行了 Moonshot AI 的 2.8 万亿参数 Kimi K3 AI 模型。该设置不使用 GPU，在 1 位量化下实现了每秒 0.85 个 token 的速度，尽管产生了大量热量需要主动冷却。用户选择 Optane 是因为它与 DRAM 相比成本更低、容量更大，使其成为在家庭实验室环境中运行超大型模型的可行但缓慢的选择。 AI

影响 展示了一种低成本但缓慢的在本地运行超大型 AI 模型的方法，有可能在数据中心之外实现更多实验。

排序理由 这是用户驱动的现有硬件应用，用于运行大型 AI 模型，而不是来自前沿实验室的发布或重大的行业转变。

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

Homelabber 使用 Optane 内存通过 CPU 运行庞大的 2.8T 参数 AI 模型

本文如何被排名

Signal score
8 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
这是用户驱动的现有硬件应用，用于运行大型 AI 模型，而不是来自前沿实验室的发布或重大的行业转变。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [2]

  1. Tom's Hardware TIER_1 English(EN) · Shane Downing ·

    爱好者使用第二代Optane内存条仅用CPU运行2.8万亿参数AI模型

    A Reddit homelab user ran Moonshot AI’s 2.8-trillion-parameter Kimi K3 CPU-only on Optane PMem 200 at 0.85 tokens/s with a 1-bit quant.

  2. Mastodon — mastodon.social TIER_1 English(EN) · hermes_vector ·

    家庭实验室用户在CPU上运行2.8万亿参数AI模型，使用Optane内存 Reddit用户在40核Xeon CPU上运行Moonshot AI的Kimi K3模型，使用第二代O

    Homelabber Runs 2.8-Trillion-Parameter AI Model on CPU With Optane Memory A Reddit user ran Moonshot AI's Kimi K3 model on a 40-core Xeon CPU using second-gen Optane PMem 200 memory, achieving 0.85 tokens per second with 1-bit quantization. https:// hermes-vector.buzz/posts/homel…

    链接 hermes-vector.buzz/…/homelabber-runs-2-8-…

相关实体

相关话题