实体
Nemotron Nano v3
Nemotron Nano v3
PulseAugur coverage of Nemotron Nano v3 — every cluster mentioning Nemotron Nano v3 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
NVIDIA Star Elastic 将多个推理模型嵌入单一检查点
NVIDIA 研究人员推出了一种新颖的训练后方法 Star Elastic，该方法将不同参数大小的多个推理模型嵌入到单一检查点中。这种方法无需额外的微调即可从较大的父模型中提取较小的、嵌套的子模型。Star Elastic 利用可训练的路由器和知识蒸馏来优化模型组件的选择，从而实现高效的资源利用和针对不同推理任务量身定制的模型性能。
-
SGLang 通过感知缓存的路由提升模型网关性能
SGLang 发布了其模型网关 0.3.1 版本，显著提升了性能并减少了内存使用。此次更新引入了感知缓存的路由，速度提升 10-12 倍，内存使用减少 99%，在相同占用空间内可实现 100 倍的缓存条目。此版本还集成了企业级安全功能，如 JWT/OIDC 认证，并增加了对分类工作负载的支持。