hf_xet

Hugging Face 模型下载使 GPU 启动时间增加 30 秒

在 Runcrate L40S GPU 上进行的测试显示，从 Hugging Face 下载一个 7B 模型会使初始启动时间大约增加 30 秒。当模型权重已缓存到本地时，首次 token 时间从 48-55 秒减少到 18-19 秒。无论是在线下载还是从本地缓存加载，将模型载入 GPU 内存的过程大约需要 14 秒，这表明磁盘读取速度是此操作的瓶颈。