Knowledge retention

研究发现LLM压缩损害知识保留并掩盖偏见

一篇新发表在arXiv上的研究论文详细介绍了压缩大型语言模型（LLMs）可能带来的不对称危害。该研究评估了三种LLM在十一种压缩方法下的表现，发现与“尾部知识”相比，压缩不成比例地降低了“头部知识”的保留率。此外，压缩后的模型常常对与丢失知识相关的错误答案保持高度自信，并且聚合偏见分数可能掩盖了跨不同人口群体刻板印象偏好的显著、相反的变化。研究结果强调了在部署压缩模型之前进行细粒度评估的必要性，因为困惑度（perplexity）和准确…