PulseAugur
中
实时 16:10:55
English(EN) Running 35B MoE models on a Tesla K80 (2014) at ~21 tok/s, in plain C

新的 C 引擎在 2014 年的 Tesla K80 GPU 上运行 35B LLM

作者 PulseAugur 编辑部 · [1 个来源] ·

一个名为 Pantheon 的新推理引擎，构建在 Foundry ML 库之上，使用纯 C 语言开发，旨在在旧硬件上运行大型语言模型。该引擎能够在 2014 年的 Tesla K80 GPU 上运行 35B MoE 模型，解码速度达到约 21 token/秒。该系统设计用于将模型权重保留在 GPU 上，减少对系统 RAM 的需求，并包含前缀缓存等功能，以提高对话场景下的性能。 AI

影响 使得在旧的、更易于获取的硬件上运行大型语言模型成为可能，从而可能降低人工智能实验的门槛。

排序理由 该条目描述了一个用于在旧硬件上运行 LLM 的新软件工具，而不是前沿模型发布或重大的行业事件。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的 C 引擎在 2014 年的 Tesla K80 GPU 上运行 35B LLM

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该条目描述了一个用于在旧硬件上运行 LLM 的新软件工具，而不是前沿模型发布或重大的行业事件。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
6 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/Electrical_Ninja3805 ·

    在纯 C 语言中，于 Tesla K80 (2014) 上以约 21 token/秒 的速度运行 35B MoE 模型

    <!-- SC_OFF --><div class="md"><p>I've spent about a year on an inference engine that doesn't need modern hardware. It's called <strong>Pantheon</strong> (LLM engine) on top of <strong>Foundry</strong> (ML library), both in C with no outside libraries. The CUDA backend targets Ke…

相关实体

相关话题