一家名为 Yuh Gettin Tru 的公司通过升级其推理软件,在本地产品丰富管道中实现了 40% 的 token 吞吐量增长。该公司在巴巴多斯运营,帮助零售商为语义搜索创建描述,他们在 MacBook M4 Pro 上切换到更新的 oMLX 软件版本。此次更新使用了 Gemma 模型,使处理速度从每秒 18.7 个 token 提高到 26.2 个 token,而不会影响生成描述的质量。 AI
影响 此类优化可以提高运行专用任务的本地 AI 模型的效率并降低成本。
排序理由 该条目描述了使用更新软件对现有 AI 管道进行的优化,而不是新的模型发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →