PulseAugur
中
实时 20:33:13
English(EN) Introducing the next evolution in LLM text generation: the first fully-fledged serving system built around a decode megakernel.

Cohere 发布采用“巨型内核”架构的新 LLM 服务系统

作者 PulseAugur 编辑部 · [4 个来源] ·

Cohere 推出了一个围绕“巨型内核”架构构建的新 LLM 服务系统，该系统将整个 LLM 解码步骤融合到一次内核启动中。这项创新旨在最大限度地提高 GPU 利用率并提高性能。该系统名为 North Mini Code，据报道在某些基准测试中比 vLLM 的性能快 1.58 倍，并且是完全开源的。 AI

影响 这一发展可能导致更高效的 LLM 服务基础设施，从而可能降低成本并提高推理速度。

排序理由 这是来自一家人工智能公司的产品/基础设施公告，而不是前沿模型发布或核心研究。

在 X — Cohere 阅读 →

AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →

Cohere 发布采用“巨型内核”架构的新 LLM 服务系统

本文如何被排名

Signal score
11 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
这是来自一家人工智能公司的产品/基础设施公告，而不是前沿模型发布或核心研究。
Source corroboration
4 independent sources
Strong cross-source corroboration — multiple independent publishers covered this within the clustering window.
Topics
infra, product
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [4]

  1. X — Cohere TIER_1 English(EN) · cohere ·

    不知道什么是巨型内核？别担心。在我们的博客上了解它是什么——以及我们如何构建该系统：https://t.co/HF93hrlynu

    Don’t know what a megakernel is? Don’t worry. Find out what it is - and how we built the system - on our blog: https://t.co/HF93hrlynu

  2. X — Cohere TIER_1 English(EN) · cohere ·

    部分结果：使用 North Mini Code (BF16 on 1×H100)，我们在 BS=1 时实现了 1.58 倍于 vLLM 的性能，在 BS=8 时实现了 1.25 倍–1.41 倍的端到端服务 https://t.co/mVE8weG06A

    Some results: With North Mini Code (BF16 on 1×H100), we achieved 1.58x vs vLLM at BS=1 and 1.25x–1.41x end-to-end serving at BS=8 https://t.co/mVE8weG06A

  3. X — Cohere TIER_1 English(EN) · cohere ·

    一个巨型内核将整个LLM解码步骤融合到一次内核启动中。我们通过内核融合最大化GPU利用率来在此基础上进行扩展，同时支持

    A megakernel fuses the entire LLM decode step into a single kernel launch. We build on this by maximizing GPU utilization through kernel fusion while supporting everything a real server needs. Check out how we got there on GitHub: https://t.co/f0P7dkv89S

  4. X — Cohere TIER_1 English(EN) · cohere ·

    推出下一代大型语言模型文本生成技术：首个围绕解码巨型内核构建的完整服务系统。

    Introducing the next evolution in LLM text generation: the first fully-fledged serving system built around a decode megakernel. Delivering up to 1.58x faster performance than vLLM. Built for North Mini Code, completely open-source.

相关实体

相关话题