Hybrid Kimi Delta Attention

新的蒸馏方法提高了AI模型生成质量

研究人员开发了一种名为GenDistill的新蒸馏方法，用于从预训练的Transformer创建更高效的混合序列模型。该方法侧重于提高自回归生成质量，因为传统的对数似然评分可能会掩盖显著的性能差距。使用Qwen3-0.6B作为学生模型的实验表明，数据集选择、仅完成掩码和冻结注意力层对于生成质量至关重要。由此产生的Hybrid Kimi Delta Attention模型达到了教师准确率的86-90%，同时大大减少了内存使用并提高了速度。