English(EN) Run a 48 GB AI Model on a 32 GB Laptop: Janas Streams Model Experts From Your SSD at 37 tok/s

Janas 引擎通过从 SSD 流式传输实现笔记本电脑上的大型 AI 模型

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-13 12:03

一款名为 Janas 的新语言模型引擎，由 Maurizio Cammalleri 用 C 语言编写，声称能显著提高大型 AI 模型在消费级硬件上的性能。据报道，Janas 在配备 32 GB RAM 的笔记本电脑上运行 48 GB 模型时，速度可达每秒 37 个 token，这比 llama.cpp 等现有方法有了显著改进。该引擎通过将模型权重保留在磁盘上并选择性地缓存常用“专家”，同时利用推测性草稿来加速 token 生成来实现这一点。 AI

影响该引擎可以使更多用户在标准硬件上本地运行大型、强大的 AI 模型，从而实现访问民主化并减少对云基础设施的依赖。

排序理由该条目描述了一个新的软件引擎，它提高了现有 AI 模型在消费级硬件上的性能，而不是一个新的模型发布或基础研究。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 28 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目描述了一个新的软件引擎，它提高了现有 AI 模型在消费级硬件上的性能，而不是一个新的模型发布或基础研究。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · jamilxt · 2026-10-13 12:03

在 32 GB 笔记本电脑上运行 48 GB AI 模型：Janas 从 SSD 流式传输模型专家，速度达 37 tok/s

<p>The wall everyone hits with local models is always the same one: the model you actually want to run is bigger than your memory. You find a promising 80B mixture-of-experts model, check the file size, see 48 GB, look at your 32 GB of RAM, and close the tab. Or worse, you try it…

本文如何被排名

报道来源 [1]

在 32 GB 笔记本电脑上运行 48 GB AI 模型：Janas 从 SSD 流式传输模型专家，速度达 37 tok/s

相关实体

相关话题