Embedl 发布了 Qwen3.8-27B Jetson Thor,这是一款量化大语言模型,在 INT4 权重和其他优化下实现了每秒 40 个 token 的处理速度。该模型在 GSM8K 和 IFEval 等基准测试中展现出与 FP16 版本相当的准确性,同时利用了 FlashHead 等技术进行更快的处理和投机解码。该模型可用于本地部署,并提供兼容 OpenAI 的 API,专注于在边缘设备上实现高效性能。 AI
影响 为边缘设备优化了 LLM 性能,可能支持更强大的本地 AI 应用。
排序理由 这是特定模型变体的发布,带有性能指标,但并非来自前沿实验室。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →