Edge0发布了其Edge0-35B-A3B模型的预览版,这是一个拥有350亿参数的稀疏专家混合(MoE)大型语言模型,专为在内存有限的设备上高效运行而设计。该模型通过按需流式传输专家,所需的活动RAM低于3 GiB,能够实现每秒15个token的交互速度。提供了将此模型与MLX、LM Studio和Hermes Agent等各种库和应用程序集成的说明,使其可以在Raspberry Pi等设备上本地使用。 AI
影响 使先进的LLM能够在边缘设备和手机上运行,有可能普及AI能力。
排序理由 Frontier-lab模型发布,附带系统卡。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
在 Hugging Face Trending Models 阅读 →
- Atomic Chat
- Edge0
- Edge0/Edge0-35B-A3B-preview
- Google Colab
- Hermes Agent
- Kaggle
- LM Studio
- Mlx
- mlx-lm
- OpenClaw
- Raspberry Pi
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →