PulseAugur
中
实时 19:08:02
Deutsch(DE) Tencent stellt Hy3-FP8 vor: die FP8-Quantisierung des 295B-Parameter-MoE-Modells mit 21B aktiven Parametern. Apache-2.0-Lizenz, 256K Kontextfenster und native v

Tencent 发布 Hy3-FP8 模型，拥有 21B 活跃参数

作者 PulseAugur 编辑部 · [2 个来源] ·

Tencent 发布了 Hy3-FP8，这是其 2950 亿参数 MoE 模型的 FP8 量化版本，使用了 210 亿活跃参数。该模型在 Apache 2.0 许可下发布，具有 256K 上下文窗口。该实现旨在减少运行时的 VRAM 消耗，并集成了原生 vLLM 和 SGLang。 AI

影响 此次发布提供了一种更有效的方式来运行大型 MoE 模型，可能降低了部署高级 AI 功能的门槛。

排序理由 腾讯 Frontier-lab 模型发布，附带系统卡。[lever_c_demoted from frontier_release: ic=1 ai=1.0]

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

Tencent 发布 Hy3-FP8 模型，拥有 21B 活跃参数

报道来源 [2]

  1. Mastodon — mastodon.social TIER_1 Deutsch(DE) · aisyndicate ·

    Tencent Hy3 is an Apache 2.0 licensed MoE model with 295B total parameters and 21B active parameters. It uses a 3.8B MTP layer and offers 256K context

    Tencent Hy3 ist ein Apache-2.0-lizenziertes MoE-Modell mit 295B Gesamtparametern und 21B aktiven Parametern. Es nutzt eine 3,8B MTP-Schicht und bietet 256K Kontext. Serving über vLLM oder SGLang mit OpenAI-API, FP8-Variante verfügbar. https:// huggingface.co/tencent/Hy3 # KI # AI…

    链接 huggingface.co/…/Hy3
  2. Mastodon — mastodon.social TIER_1 Deutsch(DE) · aisyndicate ·

    Tencent introduces Hy3-FP8: FP8 quantization of the 295B parameter MoE model with 21B active parameters. Apache-2.0 license, 256K context window, and native v

    Tencent stellt Hy3-FP8 vor: die FP8-Quantisierung des 295B-Parameter-MoE-Modells mit 21B aktiven Parametern. Apache-2.0-Lizenz, 256K Kontextfenster und native vLLM-/SGLang-Anbindung reduzieren den VRAM-Verbrauch für den Betrieb. https:// huggingface.co/tencent/Hy3-FP8 # KI # AI #…

    链接 huggingface.co/…/Hy3-FP8

相关实体

相关话题