English(EN) Qwen3.5-9B running on a PS4’s GPU, offline, using its own MTP head for speculative decoding

Qwen3.5-9B 模型在 PS4 GPU 上运行，并进行了定制优化

作者 PulseAugur 编辑部 · [1 个来源] · 2026-11-13 16:00

一位开发者成功地在 PlayStation 4 的 GPU 上运行了 Qwen3.5-9B 语言模型，实现了每秒 31-39 个 token 的速度。这得益于将模型的权重重新打包成定制的 4 位和 3 位格式，以适应游戏机内存的限制。该项目名为 'garlic-llm'，利用模型的 MTP 头进行推测解码，显著提高了性能，并实现了游戏机上的离线 AI 功能。 AI

影响使得在旧的、性能较低的硬件上运行先进的 AI 模型成为可能，从而可能扩大 AI 功能的可及性。

排序理由展示了使用定制优化在消费级旧硬件上运行大型语言模型。

在 r/LocalLLaMA 阅读 →

Qwen3.5:9b

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 2 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 展示了使用定制优化在消费级旧硬件上运行大型语言模型。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: product, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/leonardo_alegria · 2026-11-13 16:00

Qwen3.5-9B 在 PS4 的 GPU 上离线运行，使用其自研 MTP 头进行投机解码

<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1xvbn2m/qwen359b_running_on_a_ps4s_gpu_offline_using_its/"> <img alt="Qwen3.5-9B running on a PS4’s GPU, offline, using its own MTP head for speculative decoding" src="https://external-preview.redd.it/dTg1a25o…

本文如何被排名

报道来源 [1]

Qwen3.5-9B 在 PS4 的 GPU 上离线运行，使用其自研 MTP 头进行投机解码

相关实体

相关话题