StartLux 发布了 Prism,一个专为决策模型设计的开源推理引擎。据报道,该新引擎实现了显著的速度提升,在单个 H200 GPU 上多问题运行速度提升高达 5.3 倍,平均延迟为 41 毫秒。Prism 的一个关键特性是其生成比特相同输出的能力,确保模型结果的一致性。 AI
影响 此发布提供了一个专门的推理引擎,可以提高决策模型部署的效率和一致性。
排序理由 这是一个来自非前沿 AI 实验室公司的产品发布,专注于推理引擎而非新模型。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →