NUMALLAMA项目发布了一个更新,显著提高了提示处理速度,特别是对于Llama 3.1 8B Q8模型,现在可以达到约800 token/秒。此次更新还引入了Hugging Face上的现成模型,包括Qwen3-30B-A3B、Qwen3.8-27B和Qwen2.5,这些模型与OpenAI客户端兼容。性能优化专门针对ARM64架构进行调优,在无需GPU的双路ARM服务器上观察到了显著的速度提升。 AI
影响 提高了ARM硬件上的LLM性能,使其对没有GPU的用户更加易于访问。
排序理由 这是对一个开源项目的更新,该项目提高了特定硬件上LLM的性能和可访问性,而不是一个前沿新模型发布。
- Arm Holdings
- Hugging Face
- KleidiAI
- Llama 3.1
- Llama 3.2
- NUMALLAMA
- OpenAI
- Qwen2.5
- Qwen3-30B-A3B
- Qwen3.8-27B
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →