ToolAlpaca

新代码库支持使用 ZeRO-3 和 LoRA 的 EMA teacher 规模化自蒸馏

发布了一个新的代码库，能够实现使用指数移动平均 (EMA) teacher 进行规模化自蒸馏，即使是大型模型也能适用。该方法利用 LoRA 微调，共享一个冻结的主干，并管理两个轻量级适配器用于 student 和 teacher 传递。该实现旨在与 ZeRO-3 无缝协作，并包含内存峰值和适配器切换的修复，使其成为研究人员即插即用的解决方案。