实体
NInfer6000
NInfer6000
PulseAugur coverage of NInfer6000 — every cluster mentioning NInfer6000 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Ninfer6000 引擎在 Qwen3.8FN 上展现出比 vLLM 和 llama.cpp 更显著的速度提升
对 Qwen3.8FN 模型不同推理引擎的性能比较显示出显著的速度差异。Ninfer6000 在解码性能上表现更优，在各种提示长度下，其性能分别比 vLLM 快 1.59 倍，比 llama.cpp 快 2.21 倍。虽然 Ninfer6000 的预填充速度落后于 vLLM，但仍显著优于 llama.cpp。准确性基准测试显示所有测试引擎的结果相当，Ninfer6000 在 BFCL v4 工具调用基准测试中达到了 76.6%。
-
Qwen3.8 Flash Next 模型针对多样化硬件上的本地推理进行了优化
Qwen3.8 Flash Next 模型正在针对各种硬件配置上的本地推理进行优化。一位用户在使用 NInfer 的一个分支的 RTX 6000 上实现了 400 tokens/秒的性能，另一位用户通过实现流式和并行读取，展示了在带有 SSD 的 Mac Mini 上运行该模型。另一份指南详细介绍了如何在具有大量 CPU RAM 卸载的消费级 RTX 5090 上运行 125B 参数模型，还有一位用户通过采用量化和统一内存调度方法，在…