ByteDance发布Lance多模态模型；llama.cpp获得速度提升

ByteDance发布了Lance，一个拥有30亿参数的全新开源多模态模型，旨在运行在消费级GPU上。该模型能够处理图像和文本，旨在使先进的AI能力更加普及。与此同时，流行的推理引擎llama.cpp通过多线程流水线（MTP）获得了显著的性能提升，这提高了本地推理速度。此外，一款名为Horizon的全新开源聊天客户端已经发布，它通过Ollama为本地模型以及云端AI服务提供了跨平台支持。 AI

影响 轻量级多模态模型和推理引擎优化的进步将加速本地AI应用的开发和部署。

排序理由 该集群涵盖了开源模型的发布和本地推理的软件更新。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

• ByteDance
• Horizon
• Lance
• llama.cpp
• Ollama

• 模型发布
• 基础设施
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →