NVIDIA H100 上的机密 GPU 推理显示出性能损失

一篇新论文对利用 Intel TDX 技术的 NVIDIA H100 硬件上的机密 GPU 推理的性能影响进行了基准测试。研究发现，机密模式增加了 Mistral-7B 和 Qwen3-30B-A3B 模型的延迟并降低了吞吐量。具体而言，对于所测试的模型，首个 token 的生成时间增加了 20% 以上，全局 token 吞吐量下降了约 20%。研究表明，虽然机密 GPU 推理是可行的，但容量规划必须考虑到这些性能损失以及更大模型中更早的饱和行为。 AI

影响 机密 GPU 推理是可行的，但会产生性能成本，需要为敏感的 AI 工作负载进行仔细的容量规划。

排序理由 学术论文，详细介绍了特定硬件/软件配置的 AI 推理性能基准测试。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• Hugging Face
• Intel
• Mistral-7B v0.1
• NVIDIA
• NVIDIA H100
• Qwen3-30B-A3B

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →