一个名为 Gemma.c 的新项目已被开发出来,它在一个 C 文件中提供了 Google Gemma 模型(1、2 和 3)的从头开始的推理引擎。该引擎支持多模态推理,允许用户直接将图像输入提示。它专为仅 CPU 执行而设计,并以效率为目标,INT8 量化在解码速度上比 fp32 快 3.5 倍。 AI
影响 使 Gemma 模型在消费级硬件上具有更广泛的可访问性和实验性。
排序理由 这是一个第三方项目,集成了现有模型,而不是来自原始模型提供商的发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →