一位开发者创建了自定义的CUDA和C++代码，显著提高了Qwen3-30B-A3B模型在消费级硬件上的推理速度。在具有16GB显存的RTX 5060 Ti上以float 8精度运行，新代码实现了每秒50-54个token，比llama.cpp等现有解决方案提高了50%。这一进步使得更私密、更具成本效益和更环保的本地AI推理成为可能。 AI
影响 使得在消费级硬件上进行更快、更易于访问的本地AI推理成为可能，促进了隐私和成本节约。
排序理由 开发者为在消费级硬件上运行现有LLM创建的优化。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1utefpr/running_qwen3_30b_a3b_at_50_toks_on_rtx_5060_ti/"> <img alt="Running Qwen3 30B A3B at 50 tok/s on RTX 5060 Ti" src="https://external-preview.redd.it/b3R2bDZ4NHQ5a2NoMfgGrSBjMY-XZ-PSkI8F4w8618-RVFXEBBdr…