Mistral-7B v0.1

NVIDIA H100 上的机密 GPU 推理显示出性能损失

一篇新论文对利用 Intel TDX 技术的 NVIDIA H100 硬件上的机密 GPU 推理的性能影响进行了基准测试。研究发现，机密模式增加了 Mistral-7B 和 Qwen3-30B-A3B 模型的延迟并降低了吞吐量。具体而言，对于所测试的模型，首个 token 的生成时间增加了 20% 以上，全局 token 吞吐量下降了约 20%。研究表明，虽然机密 GPU 推理是可行的，但容量规划必须考虑到这些性能损失以及更大模型中更…