一项技术比较显示,当Qwen3-8B模型在华为Ascend硬件上使用DashScope运行时,与在NVIDIA GPU上使用CUDA运行时,输出存在显著差异。在61个提示下,仅有15%的顶级预测Token达成一致,表明模型行为存在巨大分歧。这与在同一CUDA堆栈下,两个NVIDIA GPU之间观察到的较小分歧率形成对比。 AI
影响 凸显了大型语言模型在不同硬件和软件配置下输出可能存在的不一致性,影响了可复现性和部署。
排序理由 跨不同硬件/软件堆栈的模型输出的技术比较。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →