ggml张量库,作为本地机器学习推理的基础组件,已发布1.0.0版本。此次重要更新引入了语义化版本控制,为开发者提供了更清晰的API变更和向后兼容性信号。此次发布还包括了对CUDA、Metal和WebGPU等各种硬件加速器的众多后端改进,以及FP8支持和增强的混合专家(mixture-of-experts)操作等新功能。虽然ggml独立于llama.cpp推理引擎,但Ollama和LM Studio等项目都建立在这个生态系统之上,受益于ggml对便携式、内存感知型张量计算的关注。 AI
影响 通过提供清晰的API版本控制,增强了本地机器学习推理工具的稳定性和开发者体验。
排序理由 核心本地机器学习推理库发布,改进了版本控制并更新了后端。[lever_c_demoted from research: ic=1 ai=0.7]
- CANN
- CUDA
- GGML
- Hexagon
- llama.cpp
- LM Studio
- Metal
- Ollama
- OpenCL
- OpenVINO
- PyTorch
- TensorFlow
- Vulkan
- WebGPU
- ZDNN
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →