Async GRPO

Hugging Face 启用跨作业的高效 LoRA 适配器训练

Hugging Face 更新了其 AsyncGRPOTrainer，现已支持 LoRA 适配器，可实现更高效的模型训练和同步。这使得在训练和推理作业之间只需传输小型 LoRA 适配器，而非完整的模型权重。此新功能利用 Hugging Face Jobs 和 Storage Buckets，允许训练和推理在不同机器上运行，无需直接网络通信，从而显著缩短训练时间。