NVIDIA 发布了一个草稿模型 Qwen3.5-4B-Qwen3.8-27B-Draft,旨在降低 Qwen3.8-27B 语言模型的解码延迟。该草稿模型通过提出候选 token,然后由 Qwen3.8-27B 进行验证,这一过程称为投机解码。该模型针对 NVIDIA 硬件进行了优化,并兼容 vLLM 等运行时,可在 NVIDIA 和 Apache 2.0 特定许可下用于商业用途。 AI
影响 该草稿模型的投机解码方法可以加速大型语言模型的推理,使开发者和推理提供商受益。
排序理由 来自 NVIDIA(一家前沿实验室)的草稿模型发布,包含其架构和预期用途的详细信息。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
在 Hugging Face Trending Models 阅读 →
- Apache Software License 2.0
- Hugging Face
- Nemotron-Post-Training-Dataset-v2
- NVIDIA
- NVIDIA Blackwell B200
- NVIDIA Model Optimizer
- NVIDIA Open Model Agreement
- nvidia/Qwen3.5-4B-Qwen3.8-27B-Draft
- Qwen3.5-4B
- Qwen3.8-27B
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →