Multiverse Computing 发布了其 Comet 60B 模型的 GGUF 版本,这是 Nemotron 3.5 Super 的压缩版本。这些模型提供 Q4_K_M 和 Q8_0 量化级别,专为在 llama.cpp 上运行而设计。它们保留了 Multi Token Prediction (MTP) 头,通过 llama-server 中的 `--spec-type draft-mtp` 标志支持推测性解码,但它们仅限于文本,不包含视觉塔。 AI
影响 使得在本地硬件上更广泛地访问和试验强大的语言模型成为可能。
排序理由 发布用于本地推理的量化模型格式。
- ATC code A12
- Comet 60B
- GGUFs
- llama.cpp
- Multi Token Prediction
- Multiverse Computing
- Nemotron 3.5 Super
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →