PulseAugur
中
实时 00:57:45

Qwen3.8-27B Jetson Thor 以 INT4 量化实现 40 tok/s

Embedl 发布了 Qwen3.8-27B Jetson Thor,这是一款量化大语言模型,在 INT4 权重和其他优化下实现了每秒 40 个 token 的处理速度。该模型在 GSM8K 和 IFEval 等基准测试中展现出与 FP16 版本相当的准确性,同时利用了 FlashHead 等技术进行更快的处理和投机解码。该模型可用于本地部署,并提供兼容 OpenAI 的 API,专注于在边缘设备上实现高效性能。 AI

影响 为边缘设备优化了 LLM 性能,可能支持更强大的本地 AI 应用。

排序理由 这是特定模型变体的发布,带有性能指标,但并非来自前沿实验室。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Qwen3.8-27B Jetson Thor 以 INT4 量化实现 40 tok/s

本文如何被排名

Signal score
3 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
这是特定模型变体的发布,带有性能指标,但并非来自前沿实验室。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
model release, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Same-day
Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/No-Dragonfly6246 ·

    Qwen3.8-27B Jetson Thor: 40 tok/s at FP16-level accuracy (INT4 + MTP + FlashHead)

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1xg44nj/qwen3827b_jetson_thor_40_toks_at_fp16level/"> <img alt="Qwen3.8-27B Jetson Thor: 40 tok/s at FP16-level accuracy (INT4 + MTP + FlashHead)" src="https://external-preview.redd.it/A7EAb8HWjl2ONFglktOtYkml…