Mean-AcT

新的CHaRS方法引导语言模型减少毒性

研究人员开发了一种新的引导语言模型激活的方法，称为聚类最优传输引导（CHaRS）。该技术使用最优传输来配对类别簇，并根据隐藏状态与这些簇的接近程度来移动它们，提供了添加单个向量的常见做法的一种替代方案。在Gemma-2-2B和Granite-3-1-2B模型上的实验表明，CHaRS，特别是将token路由到最近簇的变体，与标准方法相比，即使在INT8和NF4量化下，也能显著降低毒性。