SiMa.ai 发布了 Palette 3.0,这是一个设计用于在其 Modalix MLSoC 上运行复杂 AI 工作负载的软件平台。新版本能够并发执行感知、推理和行动任务,通过推测解码将令牌吞吐量显著提高了高达 3.5 倍。该平台支持各种 LLM 和视觉语言模型,包括 OpenAI GPT-OSS-20B,这些模型运行在 16GB 系统级芯片上的独立 Docker 容器中。 AI
影响 增强了专用硬件上 AI 工作负载的性能,可能提高了感知和推理任务的效率。
排序理由 这是一个特定 AI 硬件加速器的软件平台发布,不是前沿模型发布或重大的行业性事件。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →