新的推理引擎 TensorSharp 已添加对最近发布的 MiniMax-M3.1-Flash 模型支持。在八个 NVIDIA A40 GPU 上进行的基准测试显示,TensorSharp 的性能显著优于测试过的 llama.cpp 分支,尤其是在处理长提示词时。例如,在 64K 上下文下,TensorSharp 的预填充速度达到 2,567 tokens/秒,比 llama.cpp 的 262 tokens/秒快了近十倍,并将服务器首次 token 时间从 293.4 秒缩短到 40.0 秒。该引擎支持 GGUF 推理、视觉能力、工具调用和推测解码。 AI
影响 此版本为在本地运行大型语言模型提供了显著的性能改进,特别是对于拥有大量硬件的用户。
排序理由 这是一个新的推理引擎发布和现有模型的基准测试,而不是来自主要实验室的前沿模型发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →