rknn-toolkit2

Qwen2-VL-2B 视觉塔针对 RK3588 进行了优化，推理速度达到 4.45 秒

一位开发者成功地将 Qwen2-VL-2B 模型的视觉塔优化，使其能够在 RK3588 板上运行，实现了 4.45 秒的图像编码中值推理时间。这是通过仔细识别和固定特定版本的 `transformers` 和 `torch` 库来实现的，因为旧版本会导致模型组件的兼容性问题。该过程涉及将视觉模型转换为 ONNX，然后转换为 RKNN 格式，最终在设备上执行时没有出现运行时错误，尽管语言模型组件的集成仍在进行中。