实体
NVIDIA Nemotron 3 Nano Omni
NVIDIA Nemotron 3 Nano Omni
PulseAugur coverage of NVIDIA Nemotron 3 Nano Omni — every cluster mentioning NVIDIA Nemotron 3 Nano Omni across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
混合MoE LLM在全通信中显示隐藏延迟
新的混合Mamba-Transformer专家混合（MoE）模型，例如NVIDIA的Nemotron 3 Nano Omni和Jamba，正在表现出性能停顿，而这些停顿在标准的推理仪表板中是看不见的。这些停顿发生在MoE路由层内的全通信过程中，尽管它们占总调用次数的比例较小，但却主导了尾部延迟。当前的指标，如GPU利用率和端到端延迟，会聚合这些问题，掩盖了对优化推理引擎至关重要的每层性能变化。
-
Unsloth 推出用于本地 LLM 部署的 API 端点
Unsloth 发布了一个新的 API 推理端点，允许用户运行具有增强功能的本地大型语言模型。该端点同时支持 Anthropic 和 OpenAI 兼容的方言，从而能够与各种 AI 代理和聊天客户端无缝集成。此次更新还引入了 NVIDIA Nemotron 3 Nano Omni 和 Mistral 3.5 Medium 等新模型，并对 Unsloth Studio 进行了一些错误修复和改进。