llama.cpp 的最新版本 (b10238) 现在支持 Qwen3-Next MTP,可在消费级硬件上实现优化的本地推理。此外,围棋 AI 引擎 KataGo 在 v1.16.4 版本中引入了实验性评估缓存,以加快游戏状态分析。Kimi-K3 多模态模型现在也以 GGUF 格式提供,并由 Unsloth 优化,可在 Hugging Face 等平台上高效本地使用。 AI
影响 通过改进的模型兼容性和性能优化,增强了开发者和爱好者的本地 AI 推理能力。
排序理由 开源 AI 推理引擎和模型的更新。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →