FLUX.2 VAE

业余爱好者从头开始在单块GPU上训练了2.1亿参数的文本到图像模型

一位个人用户成功地从头开始训练了一个拥有2.1亿参数的文本到图像扩散Transformer模型，耗时3.5天，仅使用了一块GPU。该模型名为TinyDiT，在420万张精选图像上进行训练，采用了 rectified flow 方法，并使用了 FLUX.2 VAE 和冻结的 flan-t5-base 进行文本编码。成功的关键因素包括高质量的图像-标题对、宽高比分桶以及使用 `torch.compile` 加速训练。