PulseAugur
中
实时 07:33:49
English(EN) Running a dense 33B agent model on one 24 GB GPU: the offload trap and the empty reply

在 24GB GPU 上自托管 Nanbeige4.3-33B：权重优化与 Bug 修复

作者 PulseAugur 编辑部 · [1 个来源] ·

Nanbeige4.3-33B 是一款开源的代理编码模型，通过仔细管理模型权重和“思考模式”，可以在单块 24GB GPU 上运行。运行这个拥有 330 亿参数的密集型模型需要将其权重完全加载到 GPU 的 VRAM 中以保持速度，因为卸载到较慢的系统 RAM 会显著降低性能。开发者发现，在 16GB GPU 上使用 3 位量化权重文件（约 14.7GB）可以实现超过 13 tokens/秒的最佳速度，而 2 位文件对于编码任务来说精度不足。一个与聊天模板相关的 Bug 可能导致响应出现在“reasoning”字段而不是“content”字段，这可以通过禁用思考模式或调整聊天模板参数来缓解。 AI

影响 使得在消费级硬件上运行更大的代理模型成为可能，从而可能降低自托管和实验的门槛。

排序理由 该条目详细介绍了如何在消费级硬件上运行特定的现有模型，包括性能调优和 Bug 解决方法。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

在 24GB GPU 上自托管 Nanbeige4.3-33B：权重优化与 Bug 修复

本文如何被排名

Signal score
50 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该条目详细介绍了如何在消费级硬件上运行特定的现有模型，包括性能调优和 Bug 解决方法。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
model release, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · InferenceKey ·

    在单块 24 GB GPU 上运行密集型 33B 代理模型：卸载陷阱与空回复

    <p>To self-host Nanbeige4.3-33B, the Apache-2.0 agent coding model the Nanbeige team (BOSS Zhipin) released on 24 October, two decisions matter most. First, which compressed copy of the weights you load for your card. Second, how you handle thinking mode, where the model reasons …

相关实体

相关话题