新加坡国立大学和牛津大学的研究人员开发了 Flide,一个新的人工智能推理引擎。Flide 旨在显著加快决策模型查询的速度,其速度是 vLLM 和 SGLang 等现有引擎的 9.5 倍。 AI
影响 这个新的推理引擎可能导致更高效、更快速的人工智能模型部署,特别是在决策任务方面。
排序理由 该集群描述了学术研究人员开发的一个新的人工智能推理引擎,属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →