MechSparse

MechSparse 方法通过机制可解释性指导PEFT选择

研究人员开发了MechSparse，一种用于在大型语言模型中选择参数高效微调（PEFT）参数的新颖方法。与传统的启发式方法不同，MechSparse利用机制可解释性来识别对特定行为至关重要的模型组件的稀疏子集。该方法在Ministral-8B模型上进行了测试，用于斯瓦希里语跨度-JSON信息提取和英语到斯瓦希里语机器翻译等任务，并将其性能与随机选择、基于幅度的方法和基于梯度的方法进行了比较。