lectio

开发者将三个 AI 模型塞进 6GB GPU 以处理视频讲座

一位开发者详细介绍了为黑客松项目 Lectio（一个处理视频讲座的项目）优化本地 AI 管道的经验。主要挑战是将三个不同的 AI 模型（用于转录的 Whisper large-v3-turbo、用于嵌入的 BGE M3 和用于摘要的 Qwen3 4B）装入一个普通的 6GB GPU。开发者采用了分阶段处理方法，确保每个模型在被卸载前都能独占 GPU 内存，并管理 Ollama 的模型缓存以防止内存冲突。