PulseAugur
中
实时 15:11:26
实体 Muse Spark 816B

Muse Spark 816B

PulseAugur coverage of Muse Spark 816B — every cluster mentioning Muse Spark 816B across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_316584 ·

    Muse Spark 816B 在 10 块 A40 GPU 上运行,TensorSharp 性能优于 llama.cpp

    一位用户已成功将拥有 420 亿活跃参数的 Muse Spark 816B 模型部署在十块 NVIDIA A40 GPU 上运行。对 TensorSharp 推理引擎与 llama.cpp 进行的基准测试显示出显著的性能差异,尤其是在提示处理方面。在使用层拆分时,TensorSharp 在 4K 预填充方面快 2.07 倍,在 16K 预填充方面快 1.63 倍;而在张量并行方面,TensorSharp 在单请求解码时达到 22.6 …