CKA-QAD

新的蒸馏方法保留LLM内部几何结构，提高低精度准确性

研究人员开发了一种名为CKA-QAD的新方法，以提高低精度大型语言模型（LLM）的准确性。传统的量化感知蒸馏（QAD）等方法侧重于匹配输出分布，但这会掩盖模型表示内部的退化。新方法使用典型相关分析（CKA）在蒸馏过程中保留LLM的内部几何结构，从而在推理和编码任务上获得更好的性能。该方法在Nemotron 3 Nano和Qwen3-4B-Thinking-2507等模型上显示出显著的改进，且仅需极少的额外训练。