新的Rust/CUDA引擎veloGB10已在DGX Spark硬件上与Qwen3.8-Flash-Next进行了测试。该引擎原生加载EXL3权重并使用MTP-Heads进行投机解码。初步性能指标显示,与Ascent GX10上的先前堆栈相比,解码数字有了显著提高。 AI
影响 这一发展可能通过专门的硬件引擎带来更高效的AI模型推理。
排序理由 该条目描述了一个新引擎及其与特定模型的性能,属于AI基础设施的研究与开发范畴。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →