Jon Staples

llama.cpp b11902 使用 set_tensor_2d 加速张量切分模型加载

llama.cpp 项目发布了 b11902 版本，引入了一个名为 `set_tensor_2d` 的新函数，旨在显著加速张量切分模型的加载。此优化通过共享暂存槽批量处理二维张量上传，从而实现更高效的数据传输。在配备 GPT-OSS 120B UD-Q4_K_XL 模型的双 Arc Pro B70 GPU 上进行的初步测试表明，运行时从超过 260 秒减少到约 115 秒，同时确保了数据完整性。