PulseAugur
中
实时 21:40:16
Deutsch(DE) Tencent stellt Hy3-FP8 vor: die FP8-Quantisierung des 295B-Parameter-MoE-Modells mit 21B aktiven Parametern. Apache-2.0-Lizenz, 256K Kontextfenster und native v

Tencent 发布 Hy3 MoE 模型，支持 256K 上下文窗口

作者 PulseAugur 编辑部 · [2 个来源] ·

Tencent 发布了 Hy3，一个 Apache 2.0 许可的混合专家（MoE）模型。该模型拥有 2950 亿总参数和 210 亿激活参数，并使用了一个 38 亿参数的 MTP 层。Hy3 支持 256K 上下文窗口，并可以使用 vLLM 或 SGLang 通过兼容 OpenAI 的 API 进行服务。还提供了一个 FP8 量化版本 Hy3-FP8，进一步降低了 VRAM 消耗。 AI

影响 此次发布为强大的 MoE 模型提供了大上下文窗口和高效的服务选项，可能对研究和应用开发产生影响。

排序理由 Tencent 发布 Frontier-lab 模型及系统卡。[lever_c_demoted from frontier_release: ic=2 ai=1.0]

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

Tencent 发布 Hy3 MoE 模型，支持 256K 上下文窗口

报道来源 [2]

  1. Mastodon — mastodon.social TIER_1 Deutsch(DE) · aisyndicate ·

    Tencent Hy3 is an Apache 2.0 licensed MoE model with 295B total parameters and 21B active parameters. It uses a 3.8B MTP layer and offers 256K context

    Tencent Hy3 ist ein Apache-2.0-lizenziertes MoE-Modell mit 295B Gesamtparametern und 21B aktiven Parametern. Es nutzt eine 3,8B MTP-Schicht und bietet 256K Kontext. Serving über vLLM oder SGLang mit OpenAI-API, FP8-Variante verfügbar. https:// huggingface.co/tencent/Hy3 # KI # AI…

    链接 huggingface.co/…/Hy3
  2. Mastodon — mastodon.social TIER_1 Deutsch(DE) · aisyndicate ·

    Tencent introduces Hy3-FP8: FP8 quantization of the 295B parameter MoE model with 21B active parameters. Apache-2.0 license, 256K context window, and native v

    Tencent stellt Hy3-FP8 vor: die FP8-Quantisierung des 295B-Parameter-MoE-Modells mit 21B aktiven Parametern. Apache-2.0-Lizenz, 256K Kontextfenster und native vLLM-/SGLang-Anbindung reduzieren den VRAM-Verbrauch für den Betrieb. https:// huggingface.co/tencent/Hy3-FP8 # KI # AI #…

    链接 huggingface.co/…/Hy3-FP8

相关实体

相关话题