English(EN) DDR5 Costs Five Times More. My 2013 Workstation Runs a 125B Model Anyway.

DDR5 价格飙升之际，旧工作站运行 125B 人工智能模型

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-26 14:31

作者详细介绍了如何在老旧硬件上运行一个拥有 1250 亿参数的人工智能模型，因为新计算机组件，特别是 DDR5 内存的价格不断上涨。通过使用一台配备 Xeon 处理器和两块 2017 年 NVIDIA Titan Xp GPU 的 2013 年工作站，他们实现了每秒 38 到 48 个 token 的推理速度。这种方法凸显了在硬件成本上升的情况下，利用现有技术进行本地人工智能任务的可行性。 AI

影响展示了使用翻新硬件进行具有成本效益的本地人工智能推理，可能降低个人和研究人员的门槛。

排序理由该条目是关于在旧硬件上运行人工智能模型的个人经历和技术探索，而非发布或重要的行业事件。

在 Towards AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 4 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Commentary; 该条目是关于在旧硬件上运行人工智能模型的个人经历和技术探索，而非发布或重要的行业事件。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

Towards AI TIER_1 English(EN) · Gian Luca Bailo, Ph.D. · 2026-10-26 14:31

DDR5 成本是原来的五倍。我的 2013 年工作站仍然运行着一个 125B 模型。

<h4><em>38 to 48 tokens per second from a Xeon without AVX2 and two 2017 GPUs, and what three home PCs taught me about where local LLM speed really comes from.</em></h4><figure><img alt="Close-up, taken at an angle from above, of the inside of an open workstation. Two black NVIDI…

本文如何被排名

报道来源 [1]

DDR5 成本是原来的五倍。我的 2013 年工作站仍然运行着一个 125B 模型。

相关实体

相关话题