Meta 发布了 Muse Spark Open,这是一个拥有 8160 亿参数、100 万 token 上下文窗口的模型,可根据自定义许可使用。在 Apple 的 Mac Studio M5 Ultra 机器上进行的初步基准测试显示,由于模型尺寸过大,单台机器的内存容量(超过 512 GB)不足以容纳,因此至少需要两台机器。分析还表明,与上下文窗口相比,模型的缓存相对较小,其性能仅达到理论带宽上限的 42-25%,表明可能存在瓶颈。 AI
影响 此次分析突显了超大模型潜在的硬件瓶颈和性能上限,为基础设施和部署策略提供了参考。
排序理由 该条目详细介绍了新大型语言模型的发布,并对其性能和硬件要求进行了技术分析,符合研究类别。[lever_c_demoted from research: ic=1 ai=1.0]
- Apple Inc.
- Hugging Face
- llama.cpp
- Mac Studio M5 Ultra
- Meta
- Mlx
- Muse Spark Open
- NVFP4
- remote direct memory access
- SGLang
- TensorRT-LLM
- Thunderbolt
- transformers
- Unsloth
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →