Nemotron-3 Super 120B-A12B
PulseAugur coverage of Nemotron-3 Super 120B-A12B — every cluster mentioning Nemotron-3 Super 120B-A12B across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
HexGrid Cloud 为开放权重模型提供定制化 LLM GPU 基准测试服务
HexGrid Cloud 提供在用户指定的 GPU 和配置上对开放权重 LLM 进行基准测试的服务。他们正在征集模型和硬件设置的建议，以测试其部署平台，重点关注适合单个 H200 GPU 内存的聊天/指令模型。测试结果将包括吞吐量、延迟和成本指标，并将与完整的配置细节一起公开分享，以确保可复现性。
-
Nemotron-3-Super-120B-A12B 采用 Mamba+MoE 架构实现 504K token 召回
NVIDIA 的 Nemotron-3-Super-120B-A12B 模型，一种混合 Mamba 和 Mixture-of-Experts 架构，已展示出高达 504,000 token 的完美召回能力。与传统的 KV 缓存方法相比，该模型利用 Mamba 层来维持恒定的循环状态，显著降低了长上下文相关的计算成本。该模型在拥有约 71GB 显存的四块 3090 GPU 上运行，在扩展上下文长度时实现了令人印象深刻的解码速度，性能优于…
-
NVIDIA 发布压缩版 Nemotron LLM，提升效率和音频能力
NVIDIA 发布了其 Nemotron 系列中的几款新模型，重点关注提高效率和专业能力。Nemotron-Labs-3-Puzzle-75B-A9B 是 Nemotron-3-Super 的压缩版本，在处理长上下文工作负载时，可显著提高服务器吞吐量和并发性，同时保持准确性。此外，NVIDIA 还推出了 Nemotron-Labs-Audex-2B 和 Nemotron-Labs-Audex-30B-A3B，这些是统一的音频-文本大型…
-
AWS SageMaker AI 通过新的推理建议和 G7e 实例简化生成式 AI 部署
Amazon SageMaker AI 推出了新功能，以简化生成式 AI 模型的部署。该平台现在提供优化的推理建议，利用 NVIDIA AIPerf 缩短了开发人员数周的手动基准测试过程。此外，AWS 推出了由 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 驱动的 G7e 实例，提供了更高的内存和网络吞吐量，从而实现更快、更具成本效益的大型语言模型推理。