实体
ModelOpt
ModelOpt
PulseAugur coverage of ModelOpt — every cluster mentioning ModelOpt across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
NVIDIA 的 GLM-5.3-Flash 本地构建需要 Blackwell GPU
NVIDIA 发布了其 GLM-5.3-Flash 模型的新版本，该版本针对其 Blackwell 架构进行了本地使用优化。此“本地”FP4 构建需要大量 VRAM，特别是两块 Blackwell GPU 或 DGX Spark 系统，并且只能通过社区容器与 vLLM 兼容。虽然以 API 使用的成本效益而被称为“Flash”，但其本地部署对硬件要求很高，文件大小与 4 位 GGUF 量化相当。NVIDIA 声称由于量化感知蒸馏，在关…
-
新工具通过先进的 NVFP4/MXFP6 量化优化 llama.cpp 模型
一位开发者发布了一款先进的 llama.cpp 量化工具，旨在创建 NVFP4 和 MXFP6 GGUF 模型。该工具超越了基础量化，通过评估各种方法并结合 RSF（精炼尺度拟合）等自定义技术来优化模型性能。它使用困惑度（perplexity）和 KLD 等指标对层进行单独评分，同时保守处理敏感张量，并在合理时将其提升到更高的精度。该项目还包括一个用于 NVIDIA Blackwell 架构的新 MXFP6 CUDA 实现。