一个名为 dvlt.cu 的新推理引擎已使用 CUDA/C++ 从头开始开发，用于 NVIDIA 的 DVLT 3D Transformer 模型。这个独立的 5MB 二进制文件依赖性极小，仅依赖于 cuBLASLt 和仅标头文件 cuTLASS 库。它能高效处理 bf16 权重，执行一次性批量 GPU 上传，并提供确定性输出，使其适用于 3D 重建任务。 AI
影响 为 3D Transformer 模型提供了一个专门的、依赖性轻的推理引擎，有可能提高特定应用的性能。
排序理由 这是一个为特定模型定制构建的推理引擎，而不是新的模型发布或重大的行业范围内的发展。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
